2.2.0 (Aug 9, 2023)

결함

• postag: 식별된 연결어미와 다음 형태소가 원 음절에서 분할되지 않는 경우 수정 ex) "뭐랬는데"
• postag: 축약된 짧은 문장에서 발생할 수 있는 오류 예방
• postag: UTF 계산을 위한 버퍼의 부족이 발생할 수 있는 경우 예방, ex) "잘안되서"
• train: csv dump 인자 추가 및 preproc 예외 처리
• deploy: 도커 빌드 오류 개선 - 개발서버 환경에서 docker tmp 및 root 권한 문제 해결

개선

• service: 우리말샘에서 단어 추출시 임베딩 사전에 없는 단어만 저장
• service: package-lock.json 형상관리에서 제외
• bareun.ai web: 형태소 결과 출력시 긴 어절에서 표깨짐 현상 제거
• manual: docker 설치시 windows에 관한 설명 추가(도움을 주신 분: sdkparkforbi)
• runenv: COLAB 환경이 docker mode로 동작되는 문제 수정

새로운 기능

• postag: UTF8, UTF16 인코딩에서 문장, 어절, 형태소의 시작위치(오프셋) 계산 오류 해결
• postag: AnalyzeList 구현: 입력된 문장의 개수를 그대로 분할하는 방식
• postag: 방언-었 레이블 추가 - 종성이 "-었-"의 축약형인 ㅆ이나 ㅅ인 경우도 분석 가능
  • 경상도 방언에서 과거형 선어말어미 "-었-" 축약형을 분석할 수 있다.
    • 예를 들어. "어이가 없어서 말문이 막힜(힛)다" -> 막히/VV+ㅆ(ㅅ)/EP+다/EF
  • 경상도 방언 보조용언(VX) "뿌다/삐다, 부다/비다"를 분석할 수 있다.
    • 예를 들어, "날씨가 더우니까 얼음이 다 녹아뿠(뿟삤삣)다" -> 녹/VV+아/EC+뿌/VX+ㅆ(ㅅ)/EP+다/EF
• deploy: Docker로 설치시 GPU를 사용할 수 있도록 변경
• test: gitlab-ci/cd 파이프라인 구현하여 test 및 build 실행
• test: 이슈별 오류문장 수집하여 테스트
• manual: Docker 사용 시 GPU 사용 매뉴얼 추가
• manual: AnalyzeSyntaxList 문서 내용 추가

학습데이터 세부 수정 사항

• 학습데이터 증강
  • 방언-었 addons 문장 학습 데이터 증강
  • 방언-뿠-삤 addons 문장 학습 데이터 증강
  • ng_이중모음 addons 문장 학습 데이터 증강
    • VCP가 생략되는 모든 이중모음 글자 조합 추가 ex) 이것은 구긥니까? - 구긔+이/VCP+ㅂ니까/EF+?/SF
  • 던: 덜/VV+ㄴ/ETM 데이터 증강
  • 명사형 전성어미 데이터 증강
  • 의(JKG) 띄어쓰기 데이터 증강
• 학습데이터 수정
  • 일부 1~3글자 한자/SH를 문맥에 맞추어 /NNG나 /NNP 등으로 수정
    • 기시감, 응모자, 이지적, 타산적, 범속성
  • "다/EC+./SF" 태깅 오류 "다/EF+./SF"로 수정
  • 동사가 어미로 끝나지 않은 경우 수정
  • 어미로 표기했지만 보조사인 경우 오류 수정 - 으니까는, ㄹ지라도, 려다가는, 으려던
  • 이라든지 수정:
    • 이/VCP+라든지/EC -> 라든지/JX, 이라든지/JX로 수정
    • 명령형 종결어미 라/EF뒤에 조사가 붙은 경우, 라든지/EC -> 라/EF+든지/JX로 수정
  • 빅카인즈 말뭉치: "잘안/NNG"를 "잘/MAG+안/MAG"으로 수정