정확도는 어떻게 측정했나 — 평가셋·지표

바른은 한국어 형태소 분석에서 어절 정확도 97.8%, **형태소 F1 98.5%**를 기록합니다. 3.4.0 운영 번들(T261103-89ADFA)을 2026-11-06에 학습에 쓰지 않은 정답 286문장·2,079어절로 쟀습니다. 이 숫자가 무엇을 뜻하는지, 어떤 평가셋과 지표로 측정했는지를 투명하게 설명합니다. 정확도는 "어떤 데이터로, 어떤 기준으로 쟀는가"에 따라 달라지므로, 측정 전제를 함께 밝히는 것이 중요합니다.

측정에 쓰인 학습·평가 말뭉치

바른은 다음과 같은 대규모 한국어 말뭉치로 학습되었습니다.

말뭉치	규모	비고
세종 말뭉치	약 1,200만 어절	문어·구어 기반 주력
모두의 말뭉치	약 300만 어절	국립국어원 공개
뉴스(빅카인즈)	약 1억 어절	품사 태깅 보강
자체 보강·띄어쓰기 증강	약 33만 어절	분절 규칙에서 저빈도 데이터 보강, 구어 보강, 띄어쓰기 케이스 보강 등 (학습 데이터)
중의성 데이터	35,396 문장 / 8,285 표면형	공개 데이터셋

왜 말뭉치를 밝히나요

정확도 수치는 평가셋이 다르면 비교가 무의미합니다. 아래 종합값은 학습에 쓰지 않은 정답 문장으로, 모델별 값은 학습 말뭉치에서 떼어 둔 검증 분할로 잰 것입니다. 어떤 데이터에서 나온 수치인지를 구분해 읽어 주세요.

종합값: 분절과 태깅을 이어 붙인 실제 분석 결과

사람이 검수한 정답 문장을 태거의 원시 출력(후처리 전)과 맞대어 채점하는 하네스(taggold)로 쟀습니다.

정답 묶음	문장	어절	어절 정확도	형태소 F1
학습에 쓰지 않은 정답	286	2,079	97.84%	98.52%
회귀용 정답(일부는 학습 문장)	1,595	6,951	95.38%	97.51%

어절 정확도는 어절 하나의 분석(형태소와 품사)이 정답과 모두 같은 비율이고, 형태소 F1은 형태소 단위로 정밀도와 재현율을 함께 본 값입니다. 어절 하나에 형태소가 여럿 있어 어절 정확도가 더 낮게 나옵니다.
첫째 줄이 일반 성능으로 읽을 값입니다. 95% 신뢰구간은 약 ±0.6%p이고 표본이 작으므로 소수점 아래는 참고로만 읽어 주세요.
회귀용 정답은 연결어미 -ㅁ, 준말 실팬데처럼 일부러 어려운 자리를 모은 묶음이라 일반 문장보다 낮게 나옵니다.
후처리(사전·규칙)를 거치기 전 값입니다. 최종 결과는 이보다 나을 수 있습니다.

모델별 값: 분절 모델과 품사 태깅 모델

바른은 분석을 분절 → 품사 태깅으로 나누어 수행합니다. 단계마다 모델이 따로 있어 정확도도 단계별로 잽니다. 어디서 강하고 어디가 개선 여지인지 드러나기 때문입니다.

graph LR
  A[정답 말뭉치] --> B[분절 결과 비교];
  A --> C[품사 태깅 결과 비교];
  B --> D[분절 모델 어절 99.10%];
  C --> E[태깅 모델 형태소 품사 99.38%];

모델	회차	평가 데이터	측정일	값
분절 모델(seg)	SEG261019A	학습 말뭉치에서 떼어 둔 검증 분할 약 42만 문장(5%)	2026-10-21	음절 99.83%, 어절 99.10%, 자연 어절 99.11%(증강 문장을 뺀 원문 어절)
품사 태깅 모델(tag)	U1965-P22	학습에 쓰지 않은 검증 분할 179,871문장	2026-10-22	형태소 품사 99.38%(분절이 맞았다고 놓고 형태소마다 품사를 맞힌 비율), 어절 98.24%(이 모델이 함께 낸 분절 기준)

모델별 값과 종합값을 같은 눈금으로 읽지 마세요

모델별 값은 학습 말뭉치와 같은 출처의 검증 분할로 잰 것이라 더 높게 나옵니다. 위의 어절 정확도 97.84%는 분절과 태깅을 이어 붙인 실제 분석 결과를 학습 말뭉치와 출처가 다른 사람 검수 정답 286문장으로 쟀습니다. 사용자가 실제로 받는 품질에 가까운 값은 종합값입니다. 번들에는 칸 태거가 처리하지 못하는 문장에만 쓰는 폴백 태깅 모델(TAG261019M)도 있으나, 이번에는 검증값을 가져오지 못해 싣지 않았습니다. 대부분의 문장은 칸 태거가 처리합니다.

각 형태소 결과에는 probability(softmax 확신도)가 함께 붙어, 모델이 얼마나 확신했는지도 확인할 수 있습니다.

따로 보는 평가: 모호성 해소와 VCP 복원

어절 모양은 같지만 분석이 갈리는 중의성(모호성) 케이스와 생략된 서술격조사 복원은 별도 평가셋으로 봅니다.

평가 항목	평가 규모	측정 내용
모호성(중의성) 해소	35,396 문장 / 8,285 표면형	같은 표면형의 서로 다른 분석을 문맥으로 구분
VCP(서술격조사 '이') 복원	12,129 문장	'이'가 생략된 문장에서 서술격조사를 정확히 복원

모호성 해소: 표면형이 같아도 분석이 다른 경우(예 트는 → 틀다/트다)를 문맥으로 구분합니다. 부족한 표면형을 보강해 35,396 문장 / 8,285 표면형 규모의 평가셋을 구축했습니다. 이 평가셋의 구성과 공개 형식은 중의성 평가 데이터셋에서 더 자세히 다룹니다.
VCP 복원: 모두의 말뭉치에서 서술격조사 '이'가 생략된 문장 12,129건을 추출해, 평갑니다(평가/NNG+이/VCP+ㅂ니다/EF)처럼 표면에 드러나지 않은 '이'를 형태소로 복원하는지 평가합니다.

수치는 측정 전제에 따라 달라집니다

97.8%·98.5%는 위에 명시한 정답 문장과 지표 정의를 전제로 한 자체 측정값입니다. 평가셋·태그셋·정답 기준·전처리 방식이 다르면 같은 분석기라도 수치가 달라질 수 있습니다. 다른 분석기와 비교할 때는 동일한 평가셋·지표·기준에서 측정해야 공정합니다.

자주 묻는 질문

Q. 어절 정확도와 형태소 F1은 무엇이 다른가요?

어절 정확도는 어절 하나의 분석이 정답과 모두 같은 비율(97.84%)이고, 형태소 F1은 형태소 단위로 정밀도와 재현율을 함께 본 값(98.52%)입니다.

Q. 모델별 값(99%대)이 종합값(97.8%)보다 높은 이유는 무엇인가요?

모델별 값은 학습 말뭉치와 같은 출처의 검증 분할로 잰 것이고, 종합값은 학습 말뭉치와 출처가 다른 사람 검수 정답으로 분절과 태깅을 이어 붙여 쟀기 때문입니다. 실제 품질에 가까운 값은 종합값입니다.

Q. 어떤 데이터로 측정했나요?

종합값은 학습에 쓰지 않은 정답 286문장·2,079어절로 쟀습니다. 학습에는 세종 말뭉치(약 1,200만 어절), 모두의 말뭉치(약 300만 어절), 빅카인즈 뉴스(약 1억 어절) 등을 썼고, 중의성 데이터는 35,396 문장 / 8,285 표면형 규모로 구축해 공개하고 있습니다.

Q. 서술격조사 '이'가 생략된 문장도 정확히 분석하나요?

모두의 말뭉치에서 '이'가 생략된 문장 12,129건을 추출해 VCP(서술격조사) 복원을 따로 평가합니다. 평갑니다를 평가/NNG+이/VCP+ㅂ니다/EF로 복원하는 것처럼, 표면에 드러나지 않은 '이'를 형태소로 되살립니다.

Q. 우리 데이터에서도 같은 정확도가 나오나요?

평가셋이 다르면 수치는 달라질 수 있습니다. 분야 특화 용어가 많다면 사용자 사전을 등록해 정확도를 높일 수 있고, 사용자 사전은 무중단으로 반영됩니다.