1.4.0 (Dec 15, 2020)

새로운 기능

• segment-label: 체언, 조사, 용언, 어미, 관형사, 부사, 감탄사, 기호 등의 정보를 반영하여 새로운 레이블 정비
• segment-label: 분절하는 구조와 분절하지 않는 유형을 통합하고, 이전 형태와 비교하여 분절여부를 판단하도록 변경
• segment-label: 음절 생성과정에서 유사한 방식은 통폐합하여 처리 (아래 예시 외 다수)
  • -어, -었
  • -ㄴ, -ㄹ, -ㅁ, -ㅂ
• segment-label: 기존 레이블에서 -ㄴ,-ㄹ,-ㅁ,-ㅂ이 붙는 경우는 출현조건에 맞춰서 세분화
  • 어미 분리
  • 조사 분리
  • 선어말어미 출현을 명시적으로 레이블 처리
• segment-label: -이/VCP 가 붙는 경우, 원래 코드로 복원하여 처리
• segment-label: 레이블에 한글 이름을 부여하고 전체 레이블을 의미있는 단위로 통폐합처리
  • 품사별 분절, 그대로, 불규칙, 탈락, 축약, 생략, 이 - 생략, 활용, 하 - 생략, 축약, 기타
• segment-label: 기존에 오분류되거나 잘못된 인식하는 경우 다수 발견하여 보정
  • 스럴까, 어둘까에 대한 segment 로직 부족
• augment: 새로운 레이블 체계에 맞춰서 augment 정비
• postag: 빈도수가 3이하인 데이터는 워드 임베딩에서 삭제하여 처리
• postag: 사전 데이터를 생성할 때 8개 품사정보를 반영하여 처리, 예를 들어, 가다, -가(조사)가 다른 워드임베딩값을 갖도록 함.
• evaluation: python 테스팅 도구에서 처리 과정의 모든 정보를 산출하여 오류 검증 방법 개선
  • 코퍼스 폴더에서 랜덤으로 약 1000개의 파일을 선택하여 어절 분리 결과 분석
  • 어절 분리 결과와 정답을 비교하여 어절 분리 모델 오류, 후처리 오류를 검출
  • unknown 처리 결과 출력
• preproc: 정확도 출력, 어절분리, 태깅, NLP(어절분리 + 태깅) 정확도 출력
• compound-noun: 형태 태깅 모델이 명사류로 추론한 대상에 대해서만 복합명사 추론
• compound-noun: 복합명사 추론 과정에서 학습시 사용했던 사전도 검색하도록
• compound-noun: 복합명사 추론 과정에서 2글자 미만의 단어가 존재하는 경우를 반영함
• tools: 받침이 있는 글자만 검색하는 기능 추가
• tools: 변경된 파일에 대해서만 전처리 및 검증이 가능하도록 개선

결함

• train: f1 score 계산 오류
• tagging: 사전의 최대값 입력시 처리 안되는 오류
• client: 줄수 이상 출력 오류 제거
• label정리: 놨의 경우 앞과 ㅎ 불규칙과 동일하게 처리
• 구어 데이터에서 UNA, UNC, UNT 등 간투사 등은 버리도록 처리

학습데이터

• train: 어법에 맞지 않는 태깅 수정 (조사+어미,명사+어미,어미의 연속)
• augment 관련 사항
  • 가늘+ㄴ augment=50 부여
  • ㄹ탈락 동사 augment
  • ㅅ불규칙, 져/졌, 붜/붰 augmentation
  • ㅎ 불규칙 활용 augmentation
  • 갈다 augment 수정
• 변경된 말뭉치
  • 살/N- NB --> 살/NNG
  • 이/JKS+요/JX --> 이요/JX
  • 누구/NP+이/JKS --> 누구/NP+이/VCP
  • 누구/NP+이/JKS+니/EF --> 누구/NP+이/VCP+니/EF
  • 이/JKS+요/JX --> 이요/JX
  • 가/JKS+되/VV --> 가/JKC+되/VV
  • 이/JKS+되/VV --> 이/JKC+되/VV
  • 누군가 --> 누구/NP+이/VCP+ㄴ가/EF
  • 이거/NP+이/JKS+야/JX --> 이거/NP+이/VCP+야/JX
  • 실크/NNP+로드/NNP --> 실크로드/NNP
  • 가/JKS+아니/VCN --> 가/JKC+아니/VCN
  • 이/JKS+아니/VCN --> 이/JKC+아니/VCN
  • 갈다 수정 + 서툽니다 augment
  • 군데/NNG --> 군데/NNB
  • 한군데/NNG --> 한/MMN+군데/NNB
  • 라도 이라도/JX, 라도/JX
  • 긋-을-은 긋+은
  • /NR+주/NNG --> /NR+주/NNB
  • /NR+주일/NNG --> /NR+주일/NNB
  • 일주일/NNG --> 일/NR+주일/NNB
  • 란/JX, 이란/JX --> 이/VCP+란/ETM
  • 때문/NNG->때문/NNB
  • 청계천변/NNP
  • 혼자+서/JKS
  • -이라/JKQ 오류 수정 등
  • 어야지/EC ---> 어야지/EF 및 여쭤보/VV --> 여쭈/VV+어/EC+보/VX
  • 신, 실, 십 관련 데이터 추가적
  • 부터/JKB->부터/JX, 처럼/JX->처럼/JKB
  • 의문대명사+조사+이+[ㄴ,ㄹ,ㅂ]
  • 을지+라도: 을지-이-라도
  • 어떻+게+든: 어떻-게-이-든
  • 이-든: -든
  • 녹록잖아 : 녹록+지+않
  • 마다는, 마다네, 편네, 어떠네, 그러는
  • 드시다, 잡수시다
  • 협회/NNP
  • 라도, 이라도/jx
  • NR+라도/JX -> 하나+라도
  • 이제+ㄴ/JX
  • 십칠/NR+일
  • 다/NNG+들/XSN
  • 훑어보다, 여쭈어보다, 알어보다, 물어보다, 달아보다, 알아보다, 톱아보다, 톺아보다, 찾아보다
  • 제조사협회/NNP 수정
  • 혹시+이+라도 -> 혹시+라도/JX
  • ㅂ불규칙(+ㄹ)
  • 자유분방+하
  • 랑/JKB->랑/JC
  • 수사 오류 발견
  • '사랑하+'->'사랑+하'
  • • 날=날+ㄹ 오류
  • 때/NNB->때/NNG 수정
  • 제께:저+의+꺼+이
  • ㅎ불규칙+ㄹ
  • 그러 재수정
  • 랄: 하/VX->하/VV
  • 원하->원+하
  • 째 쩌+어 수정
  • 돼라는, 달라란 인용 과정 이 축약에 대한 처리
  • 알+ㄹ+수+없
  • 저쩌, 우쨌
  • 어찌하/VV
  • 어찌하/vv, 어찌어찌하/vv, 어쩌+어, 어쩌+었
  • 하/VV->하/VX수정
  • 다아 --> 다아/EF
  • 종결어미+야/IC --> 종결어미+야/JX
  • 다야 --> 다/EF+야/JX
  • 돌아가시/VV --> 돌아가/VV+시/EP
  • 들어보/VV --> 듣__01/VV+어/EC+보/VX
  • 좋아하+ㄴ다+기+ㄴ
  • NR+NR 하나의 NR로 통합
  • 이/NP --> 이/NNB
  • 누구/NP+가/JKS
  • ㄴ다/EC
  • 랜다/EF
  • 흩뜨르/VV->흩뜨러지/VV
  • 노/VV->놓/VV
  • 퍼먹/VV
  • 외우/VV+어야/EC->외/VV+어야/EC
  • 만만찮, 심상찮, 마땅찮, 변변찮/VA
  • 이요/JX, 요/JX
  • 빠져나가/VV+았/EP+구마/EF로 수정
  • 들/XSN로 수정
  • 보내/VV+지만/EC
  • 좋아하겠소->좋아하+겠+소
  • 묻/VV+어/EC+노/VV로 수정
  • 망치/VV+어/EC+놓/VX
  • 푸/VV+어/EC+놓/VX
  • 저렇/VA+어/EC+놓/VA
  • 풀어놓/VV
  • 까/VV+아/EC+놓/VX
  • 그러리만큼->그렇/VA+리만큼/EC
  • 부끄러우리만큼->부끄럽/VA+으리만큼/EC
  • 끝내/VV
  • 담아내/VV
  • 동그래지/VV
  • 까매지/VV
  • 새까매지/VV
  • 하얘지/VV, 새하얘지/VV
  • 벌게지/VV
  • 허예지/VV
  • 새빨개지/VV, 빨개지/VV
  • '어요/EF'->'아요/EF
  • '똥그래지/VV'
  • '그러/VV+고+는'
  • '쪼그마/VA+면'
  • '덩그렇/VA+니/EC'를 '덩그러니/MAG'
  • '그러/VV+지/EC+는/JX', '말/VX+기/ETN'
  • 안되다, 못하다 태깅 오류 수정
  • 뭘로 -> 뭐+ㄹ로 변경
  • 짓/VV+어/EC+보이/VV+었/EP
  • '그런데' 수정
  • '노/VV'수정
  • 모/VV+았었/EP'->'모으/VV+았었
  • 눈치보이/VV+어/EC
  • 00학과/NNG
  • 질겁/XR --> 질겁/NNG
  • 어근 분리 뒤 '하다'를 VA로 수정
  • /XR+도/JX+하 구성 --> /XR+도/JX+하/VA
  • 듯/NNB+도/JX+하 구성 --> 듯/NNB+도/JX+하/VA
  • 불려가/VV
  • 뿔/VX+어/EC
  • /NNG+만/JX+하/VA
  • 가/VX-가/VV 수정
  • 글쎄요/IC 통일
  • '연/NNP+씨/NNB+에/JKB'
  • '눈치보/VV'로 수정
  • '오다'가 '와/JKB'로 잘못 분석된 것
  • 가/VV+ㄹ수록/EC 수정
  • 빠져듭니다->빠져들/VV수정
  • 눈멂/NNG->눈멀/VV+ㅁ/ETN수정
  • 갈수록/MAG로 수정
  • 그렇/VA, 그래/IC
  • MMN을 NR로 수정
  • 만하/XSA --> 만/JX+하/VA
  • 만족/NNG+하/XSV+아/EC+하/VX --> 만족/NNG+하/XSA+아/EC+하/VX
  • 만족__01/NNG+하/XSA --> 만족__01/NNG+하/XSV
  • 만족__01/NNG+하/XSA+ㄴ다/EF, 만족__01/NNG+하/XSA+는/ETM --> 만족__01/NNG+하/XSV
  • 만족/NNG+하/XSA --> 만만족/NNG+하/XSV
  • 만족/NNG+하/XSA+는/ETM, 만족/NNG+사/XSA+ㄴ다/EF --> 만족/NNG+하/XSV
  • /NNG+하/VV --> /NNG+하/XSV
  • 원하__02/VV --> 원/NNG+하/XSV
  • 무리/NNG+하/XSV, 무리/NNG+하/XSA 구별
  • 행정동명/NNP
  • 언어명 NNG -> NNP 변경
  • 지 못하다 구성 못하 --> 못하/VX
  • 다/EC+못하 구성 --> 못하/VX
  • 못/MAG+하/VV --> 못/MAG+하/XSA
  • 안되/VA --> 안/MAG+되/XSA
  • '가르치+어'를 '갈치+어'