2.1.0 (Jun 5, 2023)

결함

• customdic: 사용자 사전을 지정했을 때, 사전을 찾지 못하는 문제 해결
• customdic: 서버를 재시작할때, 등록된 사용자 사전을 가져오지 못하는 문제 수정
• customdic: 사용자 지정 사전을 먼저 검사하지 못하는 문제 수정
• postag: "ㅠㅠㅠ", "ㅋㅋㅋ" 등 자소 글자가 입력되었을 때 위치값 계산 오류 수정
• postag: 복합명사 후처리에서 단어 합성 계산할 때, 동일 음절 오류 수정
• postag: 공백 문자에 대한 태깅 오류시 정상 보장
• postag: 하+아서 등에서 붙여쓰기를 한 이후에 오프셋이 틀어지는 문제 수정
• manual: 사용 매뉴얼 오타 수정(기호(''), 변수명 등)
• webutil: 웹 테스트 도구 환경 오류 수정

개선

• postag: 조사 다음 띄어쓰기 로직에 목적격 조사 예외로 허용
• postag: 부사나 관형사가 어절 끝에 오는 경우 띄어쓰기
• manual: 사용자사전 API 문서 수정(자세한 사용 예시)
• runenv: 코랩 환경에서 기록이 남지 않는 문제 수정

새로운 기능

• customdic: 사용자 사전 동작 방식을 근본적으로 재구성
  • 최소 개입 및 전체 일치 원칙
    • 대상이 되는 블럭에서 전체적으로 일치하는 경우에만 사전의 내용 반영
    • 정확하게 일치하는 토큰이 있는 경우에만 찾음
  • 분절 결과에 대한 확신 및 존중
    • 분절에서 최대한 정확하게 결과물이 나온다고 믿고 작업을 수행함
    • 정상적인 분절이 이뤄진 이후에 조합이 필요한 부분에 대해서만 처리함
    • 모든 조합 가능한 문자열이 아닌 형태소 분절 기준 하에서 조합 가능한 단어를 찾아내고 작업을 수행함
  • 단순성
    • 복합명사, 복합동사 추출 후 재조립과정에서 변경 부분만 업데이트하도록 구성함
  • 안정성
    • 사용자 사전을 먼저 스캔함
    • 기본사전, 학습사전을 그 뒤에 사용함
    • extra-ng, extra-np는 사용하지 않음
• customdic: 복합명사를 포함할 수 없는 조건을 명시하여 복합명사 점검 루틴 최소화
• customdic: 모든 이모지 문자열은 SW로 태깅하도록 수정
• customdic: 동사, 형용사가 중복되는 경우에도 복합동사(형용사)를 처리
• customdic: 사용자 사전에 들어갈 수 없는 글자 점검
  • 사용자 사전에 쓸 수 없는 기호 점검 예외 발생
  • 사용자 사전에 공백문자가 있으면 예외 발생
• postag: 기존의 띄어쓰기, 붙여쓰기 이후에 사용자 사전을 처리하는 방식을 변경
  • 사용자 사전 처리 이후에 띄어쓰기, 붙여쓰기로 처리하도록 개선
  • 어절 내부에 발생가능한 사용자 사전을 폭넓게 허용하고, 활용의 경우에도 처리 가능
  • 바나나우윤데요.에서도 처리하도록 수정
  • 어미 활용이 복잡한 경우에도 안정적으로 복합명사 처리 동작 수행
• postag: 화면에 출력할 수 없는 한 글자인 경우 유니코드로 출력
• manual: 맥OS 패키지 설치 방법 추가
• train: extra-ng, extra-np 사전 저장 로직 수정
• test: 복합명사 후보군 추출 과정에 대한 전처리기 단위 테스트 구현

학습데이터 세부 수정 사항

• 4,732개의 '너비없는 더하기글자를 활용한 이모지 연속(Emoji ZWJ Sequence)' 내장사전(emoji) 추가
• 6,926개의 '특수 기호' 말뭉치 추가 및 학습
• 구어말뭉치 및 빅카인즈 말뭉치: 불닭볶음/NNG+이/VCP+면/EC를 불닭볶음면/NNP으로 수정