바른 형태소 분석 정확도: 3.4.0 측정값과 측정 방법

바른의 한국어 형태소 분석 정확도는 어절 정확도 97.8%, 형태소 F1 98.5% 입니다. 3.4.0 운영 번들(T261103-89ADFA)을 2026-11-06에 학습에 쓰지 않은 정답 286문장·2,079어절로 쟀습니다. 이 글은 이 값이 무엇을 재는지, 어떻게 쟀는지, 정확도가 어디서 나오는지 정리합니다.

정확도 지표

지표	값	의미
어절 정확도	97.84%	어절 하나의 분석(형태소와 품사)이 정답과 모두 같은 비율
형태소 F1	98.52%	형태소 단위로 정밀도와 재현율을 함께 본 값

95% 신뢰구간은 약 ±0.6%p입니다. 표본이 작으므로 소수점 아래 값은 참고로만 읽어 주세요.

어떻게 측정했나

사람이 검수한 정답 문장을 태거의 원시 출력(후처리 전)과 맞대어 채점하는 하네스(taggold)로 쟀습니다.

정답 묶음	문장	어절	어절 정확도	형태소 F1
학습에 쓰지 않은 정답	286	2,079	97.84%	98.52%
회귀용 정답(일부는 학습 문장)	1,595	6,951	95.38%	97.51%

첫째 줄이 일반 성능으로 읽을 값입니다. 학습에 쓰지 않은 문장이라 학습 데이터에 맞춘 값이 아닙니다.
회귀용 정답은 연결어미 -ㅁ, 준말 실팬데처럼 일부러 어려운 자리를 모은 묶음이라 일반 문장보다 낮게 나옵니다.
이 값은 후처리 앞의 태거 출력이라, 후처리(사전·규칙)를 거친 최종 결과는 이보다 나을 수 있습니다.

모델별 정확도 (분절 모델·품사 태깅 모델)

분석은 분절 모델과 품사 태깅 모델 두 단계로 나뉩니다. 3.4.0 운영 번들에 든 모델을 하나씩 잰 값은 아래와 같습니다.

모델	회차	평가 데이터	측정일	값
분절 모델(seg)	SEG261019A	학습 말뭉치에서 떼어 둔 검증 분할 약 42만 문장(5%)	2026-10-21	음절 99.83%, 어절 99.10%, 자연 어절 99.11%(증강 문장을 뺀 원문 어절)
품사 태깅 모델(tag)	U1965-P22	학습에 쓰지 않은 검증 분할 179,871문장	2026-10-22	형태소 품사 99.38%(분절이 맞았다고 놓고 형태소마다 품사를 맞힌 비율), 어절 98.24%(이 모델이 함께 낸 분절 기준)

모델별 값과 종합값을 같은 눈금으로 읽지 마세요

모델별 값은 학습 말뭉치와 같은 출처의 검증 분할로 잰 것이라 더 높게 나옵니다. 위의 어절 정확도 97.84%는 분절과 태깅을 이어 붙인 실제 분석 결과를 학습 말뭉치와 출처가 다른 사람 검수 정답 286문장으로 쟀습니다. 사용자가 실제로 받는 품질에 가까운 값은 종합값입니다. 번들에는 칸 태거가 처리하지 못하는 문장에만 쓰는 폴백 태깅 모델(TAG261019M)도 있으나, 이번에는 검증값을 가져오지 못해 싣지 않았습니다. 대부분의 문장은 칸 태거가 처리합니다.

함께 보는 다른 평가셋

모호성 해소 평가셋: 같은 어절이 문맥에 따라 다르게 분석되는 사례를 35,396 문장 / 8,285 표면형 규모로 모아, 바른이 문맥에 맞는 분석을 고르는지 측정합니다.
VCP(서술격조사 '이') 복원 평가: 자주 생략되는 '이'를 제대로 살려 분석하는지를 모두의 말뭉치에서 추출한 12,129 문장으로 따로 평가합니다.

정확도를 만드는 세 가지 기둥

graph TD
  A[말뭉치 정제] --> ACC[높은 분석 정확도];
  B[분절·태깅 단계 분리] --> ACC;
  C[자체 태깅 지침] --> ACC;

1. 말뭉치 정제

세종·모두의 말뭉치·뉴스 말뭉치의 태깅 오류를 수정하고 일관성을 맞춰 학습합니다. 깨끗한 데이터로 학습하면 모델이 혼란스러운 신호를 배우지 않습니다.

2. 분절 단계와 태깅 단계의 분리

바른은 "어디서 끊을지"(분절)와 "무슨 품사인지"(태깅)를 별도 모델로 나눕니다. 각 모델이 더 단순하고 명확한 문제만 풀게 되어, 한 모델이 모든 걸 처리할 때보다 정확도가 높습니다.

3. 자체 태깅 지침

누가 → 누 + 가처럼 분절·품사 처리 기준을 단어마다 일관되게 정합니다. 같은 단어가 항상 같게 분석되므로 결과가 안정적입니다.

띄어쓰기 증강과 미등록단어 대응이 더한 견고함

비정형 입력에도 흔들리지 않는다

띄어쓰기 증강으로 학습해 사용자가 띄어쓰기를 틀려도 형태소 경계를 잡고, 사전에 없는 신조어도 문맥으로 추측합니다. 이 견고함이 실제 사용 환경에서의 정확도를 받쳐줍니다.

이 모든 요소가 어우러져 위의 정확도를 만들어냅니다.

자주 묻는 질문

Q. 바른의 형태소 분석 정확도는 얼마인가요?

어절 정확도 97.8%, 형태소 F1 98.5%입니다. 3.4.0 운영 번들로 학습에 쓰지 않은 정답 286문장·2,079어절을 2026-11-06에 쟀습니다.

Q. 어떻게 이런 정확도가 가능한가요?

말뭉치 정제, 분절 단계와 태깅 단계의 분리, 일관된 자체 태깅 지침이라는 세 기둥이 바탕입니다. 여기에 띄어쓰기 증강과 미등록단어 문맥 추측이 견고함을 더합니다.

Q. 어절 정확도와 형태소 F1은 어떻게 다른가요?

어절 정확도는 어절 하나의 분석이 정답과 모두 같은 비율이고, 형태소 F1은 형태소 단위로 정밀도와 재현율을 함께 본 값입니다. 어절 하나에 형태소가 여럿 있어 어절 정확도가 더 낮게 나옵니다.

Q. 이 수치는 어떻게 측정한 값인가요?

사람이 검수한 정답 문장을 태거 원시 출력과 맞대어 채점했습니다. 학습에 쓰지 않은 정답 286문장·2,079어절이 기준이고, 어려운 자리를 모은 회귀용 정답 1,595문장은 95.38%(형태소 F1 97.51%)입니다.