2.0.0 (Feb 20, 2023)

결함 및 개선

• proto: bareun 사용성 연동을 위한 proto 정의
• proto: 서버 사용량 계산 로직을 위한 proto 개선
• service: python 기본 의존성 라이브러리를 tensorflow 2.9.1에 맞게 변경
• service: golang 1.9 환경에서 오류 해결 취약성 오류 패치
• service: 원문의 한 어절의 길이가 80을 넘어서는 경우 처리
• service: go routine의 에러 발생시 처리
• service: 되 다음에 나오는 글자에 축약_되_돼_오류_1 이면 오류 보정
• service: 명령라인 파라미터 정비
• service: 설정파일 이름으로 설치 경로 및 설정 파일을 추적하도록 처리
• deploy: envoy CORS 문제 해결
• test: 취약성 점검 결과 수정: golang 1.19.5 -> 1.2 업그레이드
• build: macOS m1을 위한 빌드 개선
• build: m1 cpu를 위한 vscode 실행환경 변경
• train: sha256기반 학습 산출물 버전 폐기

새기능

• train: 트랜스포머 모델 구현
• train: 트랜스포머 모델에서 문장의 처음과 끝에 비상적인 추론값 보정
• train: 임베딩 단어에 대한 통계 추출
• train: 트랜스포머 모델 추론시 랜덤값 제거
• train: 학습 파이프라인 web UI 및 서버 구현
• train: 빅카인즈 뉴스기사 말뭉치 서브모듈 추가
• customdic: 우리말샘사전에 동사, 형용사, 복합명사 추출하기
• service: 서버 재구조화, token 및 sentence 구조 명료화
• service: 분절 결과를 사용하여 각 형태의 위치 정보를 표시
• service: 띄어쓰기 기능 및 문장분리 기능 구현
• service: 붙여쓰기 후보정 로직 구현
• service: 커스텀 사전에 대한 동적 로딩 구현
• service: 사용자 사전을 외부 볼륨으로 바인드할 수 있도록 개선
• service: 매뉴얼 포함한 웹 페이지를 단일 서버에서 서비스
• service: lang-server 이름 bareun으로 변경
• service: 로컬 사용 통계 구현
• service: 에러 로그 기능 구현
• service: API키의 등록, 해지, 조회 기능을 cli로 구현
• service: 주기적인 로그 데이터 정리
• service: 사용자 사전을 apikey 기반으로 동작하도록 하기
• service: Tokenize API 구현
• service: API KEY 기반 기능 동작
• deploy: baikal-nlp 에서 bareun 으로 패키지 변경
• deploy: debian 패키지 생성
• deploy: 윈도우 인스톨러 구현
• deploy: bareun-front 설정에 필요한 envoy 설정 추가
• test: 단위테스트 코드 구현
• manual: mkdocs를 이용한 매뉴얼 재구조화
• build: protoc 버전 변경에 따른 업데이트
• build: docker 빌드 속도 개선 및 오류 개선
• build: 빌드용 도커 버전 업그레이드

학습 데이터 세부 수정 사항

• 동일 표면형에 대한 태깅 오류 확인 및 수정
  • 표면형('나'#JX): 택1이 아니라 일반적인 열거의 맥락에서 '나/이나'가 쓰이는 경우, 보조사로 보고 있음. (국립국어원)
  • 표면형('나'#VA): 원형이 '낫다(better)'의 의미일 경우, VV가 아니라 VA로 태깅해야 함. (우리말샘)
  • 표면형('나서'#VV): '나서다' 동사가 '나다' 동사로 잘못 태깅된 경우를 수정함.
  • 표면형('그러'#VV,VA,MAJ): 명확하게 연결어미가 아니라 종결어미로 쓰인 경우 수정함.
  • 표면형('단지'#NNG): 단지/MAG로 오태깅된 단지/NNG에 대하여 수정함.
    • 인근에 경전철역이 신설되며 단지 바로 앞에 초등학교와 중학교가
  • 표면형('이러니까'#VA+EC): 이렇/VA+니까/EC에 대해서 이러니까/MAG로 오태깅된 사례를 수정함.
  • 표면형('누구야'#JKV): '야'에 대해서 확실하게 '누군가를 부르는 상황'일 때 호격조사로 태깅을 수정함.
  • 표면형('~야'#JX): 확실히 '누군가를 부르는 상황'이 아니고, 대상 강조의 의미일 때 보조사로 태깅을 수정함.
  • 표면형('노'#VV): 노/VV+시/EP+기/ETN+만/JX -> 노/VX+시/EP+기/ETN+만/JX)
  • 표면형('도로'#NNG): '되돌려서'의 의미를 가진 도로/MAG와 도로/NNG를 구분하여 수정함.
• 모호성 데이터 추가
  • addons-ambig 폴더에 부족분 코퍼스 증강
• 띄어쓰기 오류 발생을 통한 증강 학습