콘텐츠로 이동

맞춤법 검사기 정확도 벤치마크

맞춤법 검사기 정확도 벤치마크 (바른 3.3, 2026-10)

바른 맞춤법 검사기의 교정 정확도를 자체 구축한 회귀 평가셋으로 잰 결과입니다. 이 페이지 위쪽은 바른 자체의 최신 점수이고, 다른 검사기와의 비교는 아래 다른 제품과의 비교에 있습니다.

바른 3.3 전체 결과

대상 측정 시점 정답/전체 정확도
바른 3.3 (api.bareun.ai 운영 서버) 2026-10-19 18,017/19,013 94.8%

측정 방법 요약

  • 평가셋: 바른이 자체 구축해 개선마다 돌리는 회귀 평가셋 19,013문장입니다. 고쳐야 하는 오류 문장과 기대 정답 쌍 13,869문장, 그리고 그대로 두어야 하는 정상 문장 5,144문장(27%)으로 이루어집니다.
  • 채점: 교정 결과가 기대 정답과 정확히 일치하면 정답으로 셉니다. 규범상 둘 다 맞는 표기는 정답지에 허용 표기를 적어 둔 문장에 한해 둘 다 정답으로 보고, 부분 교정은 오답입니다. 정상 문장을 한 글자라도 고치면 오답입니다.
  • 구성: api.bareun.ai 운영 서버와 같은 구성(AI 보조 판정을 켠 상태)으로 쟀습니다. 설치형은 AI 보조 설정에 따라 점수가 달라질 수 있습니다.
  • 측정 도구: 같은 문장을 서버에 직접 넣는 자동 회귀 테스트이며, 사람이 결과를 옮겨 적지 않습니다.

정확도를 읽을 때 알아 둘 점

이 점수는 바른이 직접 만든 평가셋에서 나온 값이라 선택 편향이 있을 수 있고, 외부에 공개된 평가셋의 점수가 아닙니다. 그대로 두는 것이 정답인 정상 문장 5,144건은 98.2%로 높게 나오므로, 오류를 고치는 문장만 보면 93.5%(12,964/13,869) 입니다. 두 값을 함께 읽어 주세요.

갈래별 결과

갈래 정답/문장 정확도
정상 문장(그대로 두어야 함) 5,053/5,144 98.2%
띄어쓰기 3,190/3,297 96.8%
맞춤법 2,819/3,013 93.6%
표준어 1,463/1,517 96.4%
오탈자 885/1,221 72.5%
어울리지 않는 낱말 선택 607/646 94.0%
조사 621/635 97.8%
외래어 524/591 88.7%
혼동되는 단어 387/417 92.8%
한자어 382/384 99.5%
바람직하지 않은 언어 사용 317/330 96.1%
구두점 258/267 96.6%
그 밖 1,511/1,551 97.4%

표본이 작거나 성격이 다른 칸이 있습니다

'그 밖'은 공백 제거(45문장), 활용(17문장), 사용자 신고(108문장)처럼 작은 갈래와, 사람이 검토해 서버 결과를 정답으로 확정한 문장 775개 등을 묶은 것입니다. 한자어 99.5% 같은 값은 "이 문장들에서는 거의 다 맞혔다"는 뜻일 뿐이고, 새 사례를 넣으면 내려갑니다.

3.2.1 의 92.7% 와 바로 견줄 수 없습니다

이전 측정(3.2.1, 2026-09-22)은 3,931문장이었고 이번 평가셋은 19,013문장입니다. 문장이 다섯 배 가까이 늘었고 정상 문장이 새로 들어왔으며 갈래별 구성이 달라, 두 점수의 차이를 "그동안 몇 %p 올랐다"로 읽을 수 없습니다. 3.2.1 을 이번 평가셋으로 다시 재려면 옛 코드에 현재 평가셋을 얹는 조합이 필요해 아직 하지 못했습니다.

수치는 계속 움직입니다

이 수치를 고정된 성적표로 읽지 마세요. 바른의 평가셋은 계속 늘어납니다. 신고와 자체 점검으로 오류 사례를 찾는 즉시 평가셋에 넣고, 고친 뒤에도 그 문장을 지우지 않고 남겨 둡니다. 늘어난 문장은 새로 찾아낸 오류 사례와, 이미 고쳐 둔 자리를 지키는지 확인하는 정상 문장입니다.

그래서 두 가지가 따라옵니다.

  • 분모가 계속 커집니다. 9월 초 2,999문장이던 것이 9월 22일 3,931문장, 10월 19일 19,013문장입니다.
  • 한번 고친 것이 다시 깨지면 바로 드러납니다. 새 규칙이 옛 교정을 망가뜨리는 일은 실제로 자주 일어나고, 그때는 수치가 내려갑니다.

어떤 오류 유형은 지금 이 평가셋에서 전부 맞히지만, 그 유형의 새 사례를 찾아 넣으면 다시 내려갑니다. 100%라는 값은 "이 문장들에서는 다 맞혔다"는 뜻일 뿐입니다.

사람 손이 아니라 자동 회귀로 잽니다

평가셋을 늘리는 일과 정확도를 재는 일이 같은 장치 안에서 돌아갑니다. 문장을 추가하면 자동 회귀 테스트가 서버를 실제로 돌려 기대 정답과 대조하고, 몇 개를 맞혔는지 세어 정확도를 내놓습니다. 사람이 표에 손으로 결과를 옮겨 적는 단계가 없어 집계에 실수가 섞이지 않습니다.

개선 하나를 넣을 때마다 전체 평가셋이 다시 돌아갑니다. 그래서 새 규칙이 이미 고쳐 둔 문장을 망가뜨리면 그 자리에서 드러납니다. 고칠 것을 고르는 근거도, 고쳤다는 증거도 같은 셋에서 나옵니다.

앞으로 할 것

  • 작은 갈래의 표본을 늘립니다. 평가셋은 19,013문장이 됐지만 한자어 384문장, 공백 제거 45문장, 활용 17문장처럼 몇 문장에 좌우되는 칸이 남아 있습니다.
  • 이전 판과 같은 평가셋으로 나란히 잽니다. 이번에는 3.2.1 을 같은 조건으로 다시 재지 못해 직전 판과의 증감을 싣지 못했습니다.
  • 교정 후보가 여러 개인 경우의 평가 방법을 세웁니다. 지금은 허용 표기를 정답지에 미리 적어 둔 문장만 둘 다 정답으로 봅니다. 뜻에 따라 어느 쪽도 될 수 있는 자리에서 "여러 후보 중 하나를 골랐다"를 어떻게 채점할지는 아직 기준이 없어, 지금은 확인이 필요한 자리로 내놓고 오답으로 셉니다.

지금 가장 약한 곳

오탈자입니다. 전체 평가셋에서 72.5%로 가장 낮습니다. 이번 평가셋에서 오탈자 문장이 179건에서 1,221건으로 크게 늘었고, 뉴스 문장에 자판 오타를 심어 만든 문장이 많이 들어왔습니다. 키보드를 잘못 눌러 생긴 오타는 어떤 글자를 누르려 했는지 문장의 뜻을 봐야 알 수 있습니다. 사전에 있는 다른 낱말로 잘못 고치면 원문을 그대로 두는 것보다 나쁘기 때문에, 확신이 없을 때는 고치지 않는 쪽을 택합니다.

그다음이 외래어로 88.7%입니다. 외래어 표기가 틀린 낱말과 사전에 없는 사람·지명 이름을 가리기 어렵고, 이름을 오표기로 잘못 고치면 원문을 그대로 두는 것보다 나쁘기 때문에 역시 보수적으로 고칩니다. 혼동되는 단어(92.8%)와 맞춤법(93.6%)이 뒤를 잇습니다. 둘 다 뜻에 따라 갈리는 자리가 많아 문장을 읽어야 정할 수 있습니다.

다른 제품과의 비교 (2026-09, 바른 3.2.1)

3.2.1 기준 비교입니다

이 절의 수치는 2026년 9월 3.2.1 측정입니다. 위 3.3 측정과 평가셋이 달라 점수를 서로 견줄 수 없습니다. 다른 검사기를 3.3 과 같은 조건으로 다시 재면 이 절을 갱신합니다.

바른이 자체 구축한 회귀 테스트셋으로 교정 정확도를 측정한 결과입니다. 세 검사기를 같은 2,970문장으로 채점했습니다.

측정 시점은 다릅니다

문장은 같지만 시점이 다릅니다. N사·D사는 2026년 9월 초에, 바른은 9월 22일에 측정했습니다. 두 서비스는 이용약관 때문에 자동 호출을 할 수 없어 사람이 직접 결과를 받아와야 하고, 다음 갱신에서 같은 시점으로 맞춥니다.

경쟁사 측정에 쓴 문장은 2,999개였고, 그중 29개는 그 뒤 바른의 정답지에서 빠졌습니다 (규범 표기가 불확실했던 것과 공백이 여러 개인 문장). 그 29개를 뺀 2,970문장으로 세 검사기를 모두 채점했습니다.

먼저 분명히 해 둡니다. 바른도 아직 부족한 점이 많습니다. 이 데이터셋은 바른이 직접 만든 회귀 테스트셋이라 선택 편향이 있을 수 있고, 검사기마다 교정 정책과 범위가 다릅니다. 그런 한계를 감안하고, 이 데이터셋 기준으로는 있는 그대로 공개합니다.

측정 방법 요약

  • 데이터셋: 바른이 자체 구축해 회귀 테스트에 쓰는 문장(오류 문장 + 기대 정답 쌍). 계속 보완하고 있어 측정마다 문장 수가 늘어납니다.
  • 채점: 교정 결과가 기대 정답과 정확히 일치하면 정답으로 셉니다. 부분 교정·다른 표기는 모두 오답 처리하는 엄격한 기준입니다.
  • 대상: 바른 맞춤법 검사기 3.2.1, N사 검사기, D사 검사기. 문서에서는 실명 대신 익명으로 표기합니다.

전체 결과

대상 측정 시점 정답/전체 정확도
바른 3.2.1 2026-09-22 2,753/2,970 92.7%
N사 2026-09-초 1,936/2,970 65.2%
D사 2026-09-초 1,530/2,970 51.5%

오류 갈래별

같은 2,970문장을 오류 갈래로 나눈 결과입니다. 잘하는 곳과 못하는 곳이 갈래마다 다릅니다.

갈래 문장 바른 N사 D사
표준어 1,265 92.9% 63.3% 44.3%
맞춤법 677 96.6% 75.6% 66.6%
띄어쓰기 444 92.6% 65.1% 52.9%
혼동되는 단어 319 89.0% 63.3% 55.2%
오탈자 142 75.4% 56.3% 46.5%
한자어 60 98.3% 10.0% 13.3%
공백 제거 38 100.0% 84.2% 31.6%
외래어 25 100.0% 56.0% 88.0%

표본이 작은 갈래가 있습니다

한자어 60문장, 공백 제거 38문장, 외래어 25문장은 표본이 작습니다. 이 칸의 수치는 몇 문장만 달라져도 크게 움직이므로 경향으로만 읽어 주세요. 특히 바른이 100%인 두 갈래(공백 제거·외래어)는 "이 문장들에서는 다 맞혔다"는 뜻일 뿐이고, 새 사례를 넣으면 내려갑니다.

바른의 전체 평가셋 점수

위 2,970문장은 세 검사기를 같은 조건에서 견주기 위해 경쟁사 측정에 쓴 문장으로 맞춘 부분집합입니다. 바른이 실제로 매 개선마다 돌리는 평가셋은 더 큽니다. 그 전체 점수도 함께 공개합니다.

대상 측정 시점 정답/전체 정확도
바른 3.2.1 2026-09-22 3,645/3,931 92.7%

다음 판부터 직전 판과 나란히 싣습니다

이번에는 한 회차 값만 실었습니다. 판마다 같은 조건에서 다시 재야 비교가 성립하는데, 3.2.0 을 지금 조건으로 다시 재려면 옛 코드에 현재 평가셋을 얹는 조합이 필요해 측정 자체가 달라집니다. 다음 판부터는 직전 판 점수를 같은 조건으로 함께 싣습니다.

갈래 정답/문장 정확도
표준어 1,420/1,517 93.6%
맞춤법 990/1,045 94.7%
띄어쓰기 517/560 92.3%
혼동되는 단어 356/400 89.0%
오탈자 138/179 77.1%
한자어 59/60 98.3%
공백 제거 45/45 100.0%
외래어 35/35 100.0%
사용자 신고 12/16 75.0%

두 분모에서 같은 92.7%가 나왔습니다. 소수점 아래까지 보면 2,970문장에서 92.69%, 3,931문장에서 92.72%입니다. 비교에 쓴 2,970문장이 유리하게 고른 집합이 아니라는 뜻입니다.

갈래별로는 방향이 갈립니다. 맞춤법은 2,970문장 쪽이 높고(96.6% 대 94.7%), 표준어와 오탈자는 전체 쪽이 높습니다(93.6%·77.1% 대 92.9%·75.4%). 경쟁사 측정 이후에 넣은 문장에는 아직 못 고치는 사례만 있는 것이 아니라, 이미 고쳐 둔 자리를 지키는지 확인하는 문장도 함께 들어왔기 때문입니다.

N사 결과 해석 시 주의

N사는 검사 결과에서 첫 번째 제안(응답)만 선택해 채점한 결과라, 실제 사용 시와는 다소 차이가 날 수 있습니다.

도움이 되었나요?