Loading

바른 1.4.1 변경 사항 | Bareun AI

바른 1.4.1 변경 사항

1.4.1 (Jan 4, 2021)

새로운 기능

compound-noun: 사전 스캔할 때, 빌트인 사전도 거치도록 개선
compound-noun: 명사 범위를 산정할 때, 점두사 및 접미사 포함
compound-noun: 학습시 제외한 단어에 대해서도 복합명사 검색
preproc: 학습시에 제외한 단어를 별도의 사전으로 처리
preproc: 각 음절, 토큰 단위로 분포 상태 출력하도록 변경
preproc: evaluate 코드 정리, UNK index 버그, 그대로, 분절 통계에 기호 추가
service: 토큰이 품사정보를 예측하지 못했지만, 워드임베딩에 포함된 사전은 참조하도록
- 복수의 품사를 가진 토큰은 처리하지 제외
service: Out Of Vocabulary 정보를 클라이언트에 제공
service: 서버 로그 디렉터리 추가
service: 어절분리 모델에서 추론 확률 정보 후처리 과정에 전달
client: 태깅 정보 출력할 때 probability 정보 출력
client: 태깅 정보 출력할 때 OOV 정보 출력

결함 및 개선

preproc: 엑셀파일의 저장 위치를 work에서 out으로 변경
preproc: char_token_map에서 한글 자모 출력 코드 출력
preproc: digest 정보를 char-token-map 파일에 추가
preproc: 전처리 과정에서 로그에 특수문자 제거: 전처리에 대한 로그에 대한 검색 가능
preproc: 엑셀에 저장할 때, numpy를 활용해서 속도 향상
preproc: UNK 학습 개수 계산
service: segment 오류 등으로 OOV로 잘못잡히는 문제 수정
- 생략_모음체언_이_ㄴㄹㅂ_0
- 축약_기타_보조사_ㄴㄹ_0
preproc: 어절 분리 규칙 오류 수정
- 다드라도 -> 다+하+드라
- 야+것(EP)
- 섧+ㄴ 오류, ㄹㅍ -> ㄹㅂ
- 언제까짐=까지+이+ㅁ
- 다드라도 등, '하+드' 축약 규칙 추가
- 이랬자->연결어머/래짜 한단어로
- 일구워 -> 일구우 + 어 로 처리 중
service: 한글이 아닌 글자에 대한 예외 처리 추가
- 기존 한글 체크 루틴 오류 수정
- 모든 한글 점검 루틴에 호출 스택 출력 및 로그 출력
- 모든 segment 함수에 한글 점검 코드 추가
service: ㄴ,ㄹ,ㅂ 어미로 원하지 않는 데이터 들어옴.
service: 종성을 자소로 분리하는 코드에 조건에 맞지 않는 문자에 대한 처리
service: 처리 속도 향상을 위해 문자열에서 문자배열로 변경

학습 데이터 셋

모두의 말뭉치 구어부분 추가
- 모두의 말뭉치, 누구가 -> 누+가
- NAP to NNP
- 그쵸=긓죠 에 대한 처리
기존 테스트 테이터 학습 데이터로 사용

학습데이터 세부 수정 사항

"대놓"을 동사로 태깅한 오류 수정, 대놓구 부사로 처리
NA가 2번 이상인 어절은 버림
걸/EF 삭제, -ㄹ걸로 변경
말걸에 있는 형태소 분석 오류
걸다 형용사가 아닌 경우, 2건 동사로 추가 변경
+이+어미 오류, 치- 동사 바로 잡기, 꼬리치듯 등
-이+라고 오타 바로 잡기
token map 어미 빈도 4이하 2이상(#468)
란/JX --> 이/VCP+란/ETM
뭐라나루, 살류, 기다류
기달리/VV+어/EC
으니라고, 으니라구
토익, 토플/NNG
저빈도 단어 분류에 대한 정리, 면, ㄴ걸, 오, 라든, 라건만, 던
+체하/vx -> 체/nnb+하/xsv (#615)
야것다(#612)
'쥬'
지/EF+유/JX
워째 : 워쩌+어(#613), 워쩌+어/EF
명사+이+어미, 조사(#583) 자체 말뭉치
이나/JX
선물+받/XSV
텝:터+이+ㅂ니다(#574), 텝니다, 텝니까 겝:거+이
만치
선물+받아/VV
고양이+과/NNG
눈치껏/NNG
한편/NNG -> 한/MMN+편/NNB
까진, 까질, 까집니다 등(#591)
나타나지 않는 특이한 기호 문장 추가(#610)
식/XSN, 제/XPN, NNP+지구/NNG 처리(#545)
라도 이라도
더러/JKB
란, 이란
나타나지 않는 특이한 기호 문장 추가
ㄴ,는/ETM+식/NNB
NNP+지구/NNG
만큼/JX -> 만큼/JKB
한/MMN+군데/NNB
벴 : 베/VV+었/EP
이, 그, 저/MMD(#587)
그렇/VA -> 그러/VV
헝클다 augment
NR+NR 하나의 NR 로 수정