맞춤법 검사기 정확도 벤치마크 (바른 3.4.0, 2026-11)

바른 맞춤법 검사기의 교정 정확도를 자체 구축한 회귀 평가셋으로 잰 결과입니다. 이 페이지 위쪽은 바른 자체의 최신 점수이고, 다른 검사기와의 비교는 아래 다른 제품과의 비교에 있습니다.

바른 3.4.0 전체 결과

갈래별 결과

수치는 계속 움직입니다

이 수치를 고정된 성적표로 읽지 마세요. 바른의 평가셋은 계속 늘어납니다. 신고와 자체 점검으로 오류 사례를 찾는 즉시 평가셋에 넣고, 고친 뒤에도 그 문장을 지우지 않고 남겨 둡니다. 늘어난 문장은 새로 찾아낸 오류 사례와, 이미 고쳐 둔 자리를 지키는지 확인하는 정상 문장입니다.

그래서 두 가지가 따라옵니다.

• 분모가 계속 커집니다. 9월 초 2,999문장이던 것이 9월 22일 3,931문장, 10월 19일 19,013문장, 11월 5일 19,460문장입니다.
• 한번 고친 것이 다시 깨지면 바로 드러납니다. 새 규칙이 옛 교정을 망가뜨리는 일은 실제로 자주 일어나고, 그때는 수치가 내려갑니다.

어떤 오류 유형은 지금 이 평가셋에서 전부 맞히지만, 그 유형의 새 사례를 찾아 넣으면 다시 내려갑니다. 100%라는 값은 "이 문장들에서는 다 맞혔다"는 뜻일 뿐입니다.

사람 손이 아니라 자동 회귀로 잽니다

평가셋을 늘리는 일과 정확도를 재는 일이 같은 장치 안에서 돌아갑니다. 문장을 추가하면 자동 회귀 테스트가 서버를 실제로 돌려 기대 정답과 대조하고, 몇 개를 맞혔는지 세어 정확도를 내놓습니다. 사람이 표에 손으로 결과를 옮겨 적는 단계가 없어 집계에 실수가 섞이지 않습니다.

개선 하나를 넣을 때마다 전체 평가셋이 다시 돌아갑니다. 그래서 새 규칙이 이미 고쳐 둔 문장을 망가뜨리면 그 자리에서 드러납니다. 고칠 것을 고르는 근거도, 고쳤다는 증거도 같은 셋에서 나옵니다.

앞으로 할 것

• 작은 갈래의 표본을 늘립니다. 평가셋은 19,460문장이 됐지만 한자어 384문장, 공백 제거 45문장, 활용 17문장처럼 몇 문장에 좌우되는 칸이 남아 있습니다.
• 이전 판과 같은 평가셋으로 나란히 잽니다. 이번에는 3.2.1 을 같은 조건으로 다시 재지 못해 직전 판과의 증감을 싣지 못했습니다.
• 교정 후보가 여러 개인 경우의 평가 방법을 세웁니다. 지금은 허용 표기를 정답지에 미리 적어 둔 문장만 둘 다 정답으로 봅니다. 뜻에 따라 어느 쪽도 될 수 있는 자리에서 "여러 후보 중 하나를 골랐다"를 어떻게 채점할지는 아직 기준이 없어, 지금은 확인이 필요한 자리로 내놓고 오답으로 셉니다.

지금 가장 약한 곳

오탈자입니다. 전체 평가셋에서 79.9%로 가장 낮습니다. 이번 평가셋에서 오탈자 문장이 179건에서 1,392건으로 크게 늘었고, 뉴스 문장에 자판 오타를 심어 만든 문장이 많이 들어왔습니다. 키보드를 잘못 눌러 생긴 오타는 어떤 글자를 누르려 했는지 문장의 뜻을 봐야 알 수 있습니다. 사전에 있는 다른 낱말로 잘못 고치면 원문을 그대로 두는 것보다 나쁘기 때문에, 확신이 없을 때는 고치지 않는 쪽을 택합니다.

그다음이 외래어로 92.0%입니다. 외래어 표기가 틀린 낱말과 사전에 없는 사람·지명 이름을 가리기 어렵고, 이름을 오표기로 잘못 고치면 원문을 그대로 두는 것보다 나쁘기 때문에 역시 보수적으로 고칩니다. 맞춤법(94.8%)과 혼동되는 단어(95.1%)가 뒤를 잇습니다. 둘 다 뜻에 따라 갈리는 자리가 많아 문장을 읽어야 정할 수 있습니다.

다른 제품과의 비교 (2026-09, 바른 3.2.1)

바른이 자체 구축한 회귀 테스트셋으로 교정 정확도를 측정한 결과입니다. 세 검사기를 같은 2,970문장으로 채점했습니다.

먼저 분명히 해 둡니다. 바른도 아직 부족한 점이 많습니다. 이 데이터셋은 바른이 직접 만든 회귀 테스트셋이라 선택 편향이 있을 수 있고, 검사기마다 교정 정책과 범위가 다릅니다. 그런 한계를 감안하고, 이 데이터셋 기준으로는 있는 그대로 공개합니다.

전체 결과

오류 갈래별

같은 2,970문장을 오류 갈래로 나눈 결과입니다. 잘하는 곳과 못하는 곳이 갈래마다 다릅니다.

바른의 전체 평가셋 점수

위 2,970문장은 세 검사기를 같은 조건에서 견주기 위해 경쟁사 측정에 쓴 문장으로 맞춘 부분집합입니다. 바른이 실제로 매 개선마다 돌리는 평가셋은 더 큽니다. 그 전체 점수도 함께 공개합니다.

두 분모에서 같은 92.7%가 나왔습니다. 소수점 아래까지 보면 2,970문장에서 92.69%, 3,931문장에서 92.72%입니다. 비교에 쓴 2,970문장이 유리하게 고른 집합이 아니라는 뜻입니다.

갈래별로는 방향이 갈립니다. 맞춤법은 2,970문장 쪽이 높고(96.6% 대 94.7%), 표준어와 오탈자는 전체 쪽이 높습니다(93.6%·77.1% 대 92.9%·75.4%). 경쟁사 측정 이후에 넣은 문장에는 아직 못 고치는 사례만 있는 것이 아니라, 이미 고쳐 둔 자리를 지키는지 확인하는 문장도 함께 들어왔기 때문입니다.