Mirr 1.0 Pro

한국어는 자연스럽게. 코딩은 집요하게.

Patty가 직접 만든 코딩 모델. 질문에 답하는 데서 멈추지 않고, Mirr(미르) 안에서 저장소를 읽고 실제 작업을 이어갑니다.

Mirr 1.0 Pro

한국어 과제 200개를 모델마다 4번씩, 같은 Mirr(미르) 환경에서 같은 도구·예산·채점 기준으로 풀게 했습니다.

	종합 (200)	Java (75)	JavaScript (75)	Python (50)
Claude Opus 5	95.4	97.3	98.0	88.5
Kimi K3	94.8	95.7	99.0	87.0
Mirr 1.0 Pro	92.4	92.3	97.0	85.5
GLM-5.3	92.4	93.3	96.7	84.5
GPT-5.6 Sol	88.5	87.3	85.7	94.5
MiniMax-M3	86.2	84.0	95.3	76.0
DeepSeek v4.1 Flash	73.2	75.3	82.0	57.0

과제	Mirr 1.0 Pro	Claude Opus 5	Kimi K3	GLM-5.3	GPT-5.6 Sol	MiniMax-M3	DeepSeek v4.1 Flash
배열·리스트·그리드 (36)	97	99	97	94	99	90	80
문자열·텍스트 (35)	92	98	99	97	86	89	84
숫자·세기 (43)	96	99	97	97	85	88	76
비트·인코딩·암호 (12)	96	98	94	96	100	92	77
실생활 공식 (49)	85	88	89	86	81	79	64
단위·기하·시간 (25)	93	94	95	86	92	86	61

도구 호출 수, 해결 1회당 중위값 (적을수록 효율적)

출력 토큰 수, 시도 1회당 중위값 (적을수록 효율적)

Mirr 1.0 Pro는 한국어로 학습했습니다. DeepSWE 학습 전 대비 +7.0%p입니다.

SWE-bench, Terminal-Bench, DeepSWE는 코딩 에이전트를 이해하는 데 유용합니다. 다만 과제와 상호작용은 대부분 영어로 이뤄집니다. Patty는 같은 과제를 한국어 요청으로 다시 시험하고, 조건과 함께 점수를 공개합니다.

평가	무엇을 보나	공개할 조건	현재 상태
DeepSWE	실제 저장소 문제 해결	후속 학습 전과 Mirr 1.0 Pro를 동일 조건으로 비교	내부 일치 평가 · +7.0%p
SWE-bench	GitHub 이슈 기반 패치 해결	정확한 변형·문제 집합·하네스 공개 필요	한국어 대조 검증 중
Terminal-Bench	터미널에서 이어지는 복합 작업	버전·환경·시간 제한과 도구를 함께 공개	한국어 대조 검증 중
Patty Korean Sessions	혼합 언어 장기 코딩 대화	후속 지시, 맥락 유지, 실제 검증 결과를 함께 평가	프로토콜 검토 중

벤치마크 한 회차는 실제로 며칠 이어지는 저장소 작업과 다릅니다. 번역의 난이도 동등성, 실행 환경, grader 변동도 결과를 바꿀 수 있습니다. 그래서 Patty는 점수 옆에 조건을 두고, 조건이 없는 숫자는 게시하지 않습니다.

검증된 내부 동일 조건 평가+7.0%p

DeepSWE · 후속 학습 전 대비

Mirr 1.0 Pro는 Patty가 직접 만든 모델인가요?

네. Patty가 소프트웨어 작업과 한국어 협업을 위해 후속 학습하고 운영하는 모델입니다.

한국어로만 써야 하나요?

아닙니다. 코드와 문서는 원래 여러 언어가 섞입니다. 한국어와 영어를 오가며 써도 됩니다.

코드만 작성하나요?

아닙니다. 원인 조사, 설명, 계획, 리뷰만 부탁할 수도 있습니다.

Mirr 1.0 Pro와 Mirr(미르)는 무엇이 다른가요?

Mirr 1.0 Pro는 판단하는 모델이고, Mirr(미르)는 파일과 도구를 연결해 실제 작업을 수행하는 환경입니다.

공개 점수와 실제 사용감은 왜 다른가요?

과제 언어, 하네스, 도구, 시간 제한, 여러 턴의 맥락이 달라지면 같은 모델도 다른 결과를 냅니다.