3.0.rc2 (Apr 23, 2025)

결함

• revision: '활용_르불규칙_어간_오류' 치르다, 따르다 예외 처리

• revision: 관형사에 대한 띄어쓰기 규칙 오류 수정

• service: 빈 요청이 들어오는 경우에 에러 처리

• train: 되서, 됬고 의 분절 학습 오류 정상화

개선

• revision: 구두점 교정 기능 추가
• revision: 조사 오류 교정 기능 추가
• revision: 유사단어 찾을 때 동일한 품사 찾음, '든지'를 '던지'로 바꾸는 문제
• revision: 유사도 비교시 우리말샘을 기준으로 재구성
• revision: 맞춤범 카테고리 개수 통폐합하여 9개로 재정의
• revision: 카테고리에 확인 필요 추가
• revision: '-와, -과' 접속조사에서 띄어쓰기 추가
• revision: 신조어로 판명나는 경우에는 반드시 사전을 검사하도록 변경 처리
• service: 중복된 도움말을 나타나지 않도록 API 개선
• service: 맞춤법 검사기 규칙 오류 수정
• service: panic 발생시 호출 스택을 출력하여 문제 위치 파악 개선
• revision: '활용_르불규칙_어간_오류' 치르다, 따르다 예외 처리
• tagger: 어절 단위 형태 태깅 후 바로 후처리 수행하던 방식을 전체 태깅 후에 후처리 하도록 변경
• tagger: 우리말샘 사전 날짜 최신화(2025.04.02)
• tagger: 우리말샘 기본 동사, 형용사 사전 방언 제외
• train: 학습시 loss가 발산되는 오류 수정

새로운 기능

• builtin-dict: 성씨, 열거형 단어
• builtin-dict: 우리말샘 메모리 사전 추가 및 런타임 바이너리 생성
• builtin-dict: 우리말샘을 컴파일하여 외래어 사전 등 자동 빌드
• revision: 기존에는 띄어쓸 위치를 표시했는데, 띄어쓸 전체 영역의 시작 위치로 변경
• revision: 대체어 삽입 후 분절 모델을 참조하여 원형 복원 진행(느길거야 ->느낄거야)
• service: 동일한 어절에 대한 변경 사항들을 하나의 수정 블럭으로 합치기
• service: 인접하는 어절에 띄어쓰기, 붙여쓰기가 겹치면 하나의 블럭으로 합치기
• revision: 사이시옷 검사 추가
• revision: 두음법칙 검사 추가
• revision: 만 단위, 열거하는 말 띄어쓰기
• revision: '아/어' 다음에 '지다/하다'가 오는 경우: "아기를 예뻐 한다."->"예뻐한다."
• revision: 띄어쓰기, 붙여쓰기 블록이 맞지 않는 문제를 길이(절대 Span) 기준으로 계산해 해결
• tagger: 복합명사를 타지 않는 조건을 단순화하여 누락된 복합명사 처리 개선
• revision: '한 번'과 같이 'MMN, NNB'의 경우에도 한 단어인지 검사
• revision: 띄어쓰기에서 명사류에 대한 사전 검색 검사
• revision: 띄어쓰기에서 사전에 있는 복합명사의 경우에는 붙여쓰지 않음.
• revision: 영문 등의 기호가 나오면 띄어쓰기 처리(PC 방, VR 체험)
• revision: 관형사에 대한 띄어쓰기 규칙 오류 수정
• revision: 성과 이름 붙여쓰기
• revision: 체언 접두사 '제' 붙여쓰기
• revision: 새 오류 분절 유형에 대한 수정 기능 추가
• revision: 잘못쓴 외래어 단어 교정 기능 추가(타겟->타깃, 초콜렛->초콜릿 등)
• train: 새 분절 유형 추가: '축약_엇_오류': '됏다' -> '됐다'
• train: 새 분절 유형 추가: '활용_용언_으첨가_오류': '같으네' -> '같네'
• deploy: 빌드시 맞춤법 검사기, 형태소 분석기 분리 빌드 기능
• deploy: 도커 빌드시 맞춤법 검사기, 형태소 분석기 분리 빌드 기능
• service: 형태분석 및 맞춤법 검사기에서 단일한 딥러닝 모델 사용
• service: 버전에서 feature 기능 추가하여 향후 권한 점검의 기준 마련
• service: 기본 서비스 5655 포트에 REST API 추가, /bareun/api/v1/ PATH에서 서비스 제공
• preprocess: 우리말샘 데이터 사전 파일로 생성하는 기능 추가
• manual: 맞춤법 검사기의 설명을 최신 proto에 맞게 변경하고, 예시 결과도 반영
• test: 분절모델 규칙, 케이스별 테스트 문장 추가

학습데이터 세부 수정 사항

• 학습데이터 증강

• addons 오류 수정 및 부족분 단어 추가
• '난이도' 명사 증강
• '되다' 용언 증강(ex. '가담되어')
• '축약_엇_오류' 데이터 증강
• '않아하다' 용언 데이터 증강
• '활용_용언_으_첨가_오류' 데이터 증강
• 비표준어 용언 문장: 비표준어가 들어간 용언의 활용 형태의 문장을 더 잘 분석하기 위한 데이터

• 학습데이터 수정
  • '축약_외_어었_왜왰_용언전체' 말뭉치 오류 수정
  • 'ㄹ불규칙_으_첨가' 말뭉치 오류 수정
  • '활용_르불규칙_어미_아어았었_오류' 태깅 오류 수정
  • '다기(다/EF,하/VV+기/ETN)'를 '다기,ㄴ다기,는다기(ETN)'으로 변경
  • '라기(라/EF+하/VV+기/ETM)'를 '-라기/ETN'으로 변경
  • '-라기에'의 경우 /EC로 변경