1.7.0 (Mar 15, 2022)

새로운 기능

• service: 라이센스 만료 후에도 동작함, 대신에 주기적인 라이센스 만료 메시지
• api: CORS 허용 설정, 외부 API 호출시 CORS 오류 제거
• train: 멀티 프로세스를 활용한 전처리 속도 개선, 최소 3배에서 10배 이상 속도 향상

결함 및 개선

• train: 태깅 모델의 토큰별 인덱스 구하는 방식 개선(학습 속도 향상)
• test: 실제 응답시간 출력 기능 추가
• deploy: 도커 생성시 syntax 오류 제거
• api: API에서 JSON 출력시 공백 및 들여쓰기 제거
• build: 가상환경 구성 패키지 최신화
• service: 환경설정을 외부 디렉터리에서 로딩할 수 있도록 개선

학습데이터 세부 수정 사항

• 음절 단위 분석 후 레이블 분포가 특이하게 적은 음절 데이터 전수 검사
• 토큰 단위 분석 후 레이블 분포가 특이하게 적은 토큰 데이터 전수 검사
• 'X/MAG+거리/VV'를 'X거리/VV' 또는 'X/MAG+거리/XSV'로 수정
• '口/SW'를 '口/SH'로 수정
• '뜨개질/NNG'을 '뜨개/NNG+질/XSN'로 수정
• '글쎄/MAG'를 '글쎄/IC'로 수정
• '헌데'를 'MAJ'로 수정
• '왠'을 '웬'으로 원문 수정
• '온건/NNG+하/XSA+ㄴ/ETM'을 '온건하/VA+ㄴ/ETM'으로 수정
• 'CO₂'를 하나의 기호로 처리-나누어 분석하지 않음
• '닮/VV+은/ETM+꼴/NNG'을 '닮은꼴/NNG'로 수정
• 수량이 크거나, 많음 또는 정도가 높음을 강조하는 보조사의 예시가 아닌 경우
• (이)나/JX -> 이/VCP+나/EC
• '그럽니까' 분석 중 어간을 '그러/VV'로 수정
  • 어간이 '그렇/VA'라면 '그렇습니까'로 실현됨
• 기호 속에 있는 아라비아숫자 SN처리(#720)
• '베끼(밖에)', '는'을 보조사(JX)로 수정
• 로마숫자를 '/SN'으로 수정
• '곤드레 나물'을 뜻하는 곤드레는 명사로 수정
• 연결어미를 종결어미로 또는 종결어미를 연결어미로 수정
• 분석이 되지 않았거나 덜 된 것을 더 분석하는 방향으로 수정
• 'X+하/VV'를 'X+하/VX'로 수정
• '기에/EC+ㄴ/JX'를 '기/ETN+에/JKB+ㄴ/JX'로 수정
• 'X/MAG+하/XSV 또는 하/XSA'를 'X하/VV 또는 X하/VA'로 수정
• ⑴ ⑵ ⑶ ⒁ ⑸ 등 SW -> SN, 지침에 따라 괄호 속 아라비아 숫자 SN으로 분석
• '인' 의존명사로 분석된 지정사 '이'
  • 경사 ~인: 이/NNB+ㄴ/JX -> 이/VCP+ㄴ/ETM
• '본' 보조동사 '보'를 관형사로 분석한 경우
  • 본/MMD -> 보/VX+ㄴ/ETM
• '롷' 부사로 분석된 '요롷게'
  • 요롷게/MAG -> 요롷/VA+게
  • '이렇다'의 구어체(?) '요롷게'
• '거' 느그/NP'를 따라 '느거/NP'
• '였' 모있는데'에서 '있'EP를 인정하여 분석
  • 모있는데/NA -> 모이+있/EP+는데
• '땡큐, 쌩큐' 명사 처리를 따라 NA 변경
• '낱' 부사어 '한낱' 하나의 부사로 분석 수정, 한/MMN+낱/NNG -> 한낱/MAG
• 대+환영+하/VV -> 하/XSV
• 형용사의 활용형으로 '그려' 분석
• '퉤'의 장음을 2음절로 전사한 것 기호~ㄴ 빈도수 1 음절 오류 수정
• '띄' 띄어쓰기' 명사 처리
• 숫자+%+이+나 -> 나/JX
• EC+ETM 문법적 오류 / 살+어야+하+ㄹ
• '그럼요'처럼 대답의 의미로 쓰인 감탄사: 그러문
  • 그러문/MAG+이/VCP+오 -> 그러문/IC+이요/JX
• '짧다'의 방언형 '짤르/VA'
• '였' 미완성발화로 분성불능으로 분석된 경우
  • 보였/NA -> 보이+었
  • 붙였/NA -> 붙이+었
• 잔을 부딪치는 소리로의 '짠', 짠/MAG -> 짠/IC
• '짠' <우리말샘>에 감탄사로 등재된 '짠', 숨겨 두었거나 보이지 않고 있던 것을 자랑스럽게 내보일 때 하는 말
• '쩔' 분석불능범주로 태깅된 '어쩔텨': 어쩌+ㄹ, '-ㄹ쳐'의 분석이 15건 존재하여 어미로 인정하여 분석
• '쏠' 부사: 재미가 은근히 나는 모양, 쏠쏠/XR -> 쏠쏠/MAG
• 분석불능범주로 태깅된 다양한 단어 수정
  • 어때/NA -> 어떻/VA+어/EF
  • 사과닙까/NA -> 사과/NNG+이/VCP+니까
  • 갔/NA -> 가/VV+았/EP
  • '그래/NA' 중 의미없이 등장하는 경우 '그래/IC'로 수정
  • '그려/NA' 중 '그리/VV+어'로 분석되는 경우
    • 문말에서 '-어서 그래'처럼 사용될 때 보조사가 아닌 '그리+어'로 분석
• 자음'ㄹ'을 관형사로 분석한 것을 명사로 처리
  • 문맥에서 자음의 빈도를 말하고 있음
  • ㄹ/ETM -> ㄹ/NNG
• 기호로 분석된 한자 분석 변경
  • ㅡ/SS -> ㅡ/SH
• 저빈도 char에서 나타난 오류 식별 및 수정 항목 (#705), (#718)
  • [char:믹]'해먹다'는 재물이나 지위 따위를 차지하여 가진다는 의미
    • 밥 한끼 해먹다
    • 하+아+먹이+다
  • [char:르]전사오류 원문수정(르 -> 를)
    • 르/JKO -> 를/JKO
    • test시 '르'를 NNG로 분석하고, 검색시 '르'를 목적격으로 사용하는 경우를 발견 어려웠습니다.
  • [char:혈]'저열하다'로 원문수정
    • 저혈한 -> 저열한
  • [char:할]대환+영하+ㄹ -> 대+환영+하+ㄹ
    • 형태소 분석 오류 수정
  • [char:표]표현/MMA -> 표현/NNG
  • [char:퍼]"-파요"형태일 때 "프+아/어요"로 분석
    • 코퍼스에 '배고프다' 등을 제외한 어간에 "프"가 오지 않을 때(보고파요) '프/VX+아/어요'로 분석되어 있는 것을 따름
  • [char:퇴]침 뱉는 소리를 뜻하는 의성어 부사처리
    • 퇴에/MAG -> 퇴/MAG+에/JKB
  • [char:텀]'탐탁스럽다'형용사 어간으로 분석
    • 텀턱시런/MAG -> 텀턱시럽/VA+ㄴ/ETM
  • [char:쩜]뜻밖의 일 따위에 탄복할 때 나오는 소리(감탄사)로 통일
    • 어쩌+ㅁ -> 어쩜/IC
  • [char:짙]형용사를 명사로 분석한 경우
    • 짙고/NNG -> 짙/VA+고/EC
  • [char:텨]버텨/VV -> 버티/VV 원문 수정 및 분석 수정
  • [char:켰]어간 '시켰' -> '시키+었'
  • [char:쪄]어쪄 -> 어쩌
    • 어쪄/NA -> 어쩌/VV+어
  • [char:진]보여주지+ㄴ/ETM -> ㄴ/JX
  • [char:전]'감정적이전' -> '감정적이진'
    • 이+전/EC -> 이+지/EC+ㄴ/JX
  • [char:음]'처음으로'어절을 조사로 분석한 것을 명사+조사로 분석
    • 처음으로/JKB -> 처음/NNG+으로/JKB
  • [char:음]단어 중간 삽입어로 인해 분석불능범주가 된 경우
    • 식물/NNG+음/JX\n원/NA+에/JKB -> 식물원에
  • [char:을]'붐+이+을' -> '붐+을/JKO'
  • [char:은]'닭+이+은' -> '닭+은/JX'
  • [char:음]단어 중간 삽입어로 인해 분석불능범주가 된 경우
    • 식물/NNG+음/JX\n원/NA+에/JKB -> 식물원에
  • [char:육]감탄사로 등재된 '육시랄' 태깅 수정
    • 육시랄/NNG -> 육시랄/IC
  • [char:운]전사오류로 판단 및 test시 '운'을 조사로 분석하지 못한 경우
    • 운/JX -> 은/JX
  • [char:연]보연은 -> 보면은 원문 수정
  • [char:어]어미를 조사로 분석한 경우(그랬어도)
    • 그러+었+어도/JX -> 그러+었+어도/EC
  • [char:얄]어미 '어얄' -> '아야+ㄹ'
  • [char:씬]문맥상 형용사 '세다'의 방언인 '씨다'
    • 씨/VV -> 씨/VA
  • [char:변]변별/MMA -> 변별/NNG
  • [char:연]보연은 -> 보면은 원문 수정
  • [char:받]받듯이/MAG -> 반드시/MAG
  • [char:밑]밑/MAG -> 및/MAG 원문 수정
  • [char:뭣]감탄사로 분석된 '뭣' 1건 대명사로 분석 수정
  • [char:뭔]뭔:'무슨'을 구어적으로 이르는 말
    • 뭔/MMD
    • 뭔가, 뭔줄 -> 뭐/NP+이/VCP
  • [cahr:맛]맛/JX -> 만/JX
    • '입맛'의 경우 명사로 분석된 빈도가 많아 명사로 태깅하려 함
    • 문맥적으로 '입맛/NNG'이 아닌 '만/JX'를 뜻하기 때문에
    • 전사 오류로 파악하여 원문 수정
  • [char:른]개인적으른 -> 개인적으론 원문 수정
    • 테스트 결과 '으른:으르/JKB+ㄴ/JX'를 분석하지 못하기 때문에 원문 수정
  • [char:른]'른' 전사 오류 수정
    • 른/JX -> 은/JX
  • [char:른]'짤르다'를 어간으로 보아 관형사형어미 수정
    • 짤/VA+른/ETM -> 짤르/VV+ㄴ/ETM
  • [char:롤]부사격조사 '롤', '로'로 원문 수정
    • 테스트시 '무롤'자체를 부사로 태깅하고 있음
    • 원문을 '로'로 수정하여 부사격조사로 분석할 수 있도록 조치
  • [char:로]감탄사 헬로우 명사 처리
    • 해당 코퍼스를 확인했을 때, 문맥에서 '헬로우'를 명사로 처리
    • 일관성 있게 명사로 분석 수정
  • [char:딧]용언으로 분석된 '으딨'을 '으디+잇'으로 분석
    • '어디/NP'의 방언으로 '으디/NP'를 파악함
    • 으디/NP+있/VA
  • [char:딜]워딜/IC->워디/NP+ㄹ/JKO
    • '어디/NP'의 방언 '워디/NP'
  • [char:데]한테/JKB의 전사 오류 '한데'
    • '한데'의 빈도수 1건을 원문 오류로 파악하여 '한테'로 수정
  • [char:던]'어던/MMD'의 경우 '어떤'으로 원문 및 분석 수정
    • 전사 오류로 판단하여 원문수정
    • '어던'으로 test시 용언으로 분석
    • 따라서 '어떤'으로 원문 및 분석 수정
  • [char:더]보더/JKB 1건 -> 보다/JKB
    • 원문 오류로 파악하여 1건인 '보더/JKB'를 '보다/JKB'로 수정
    • '나보더'로 test결과 'NA'로 분석 때문에 부사격조사 원래 형태를 복원
  • [char:낱]부사어 '한낱' 하나의 부사로 분석 수정
    • 한/MMN+낱/NNG -> 한낱/MAG
  • [char:였]'모있는데'에서 '있'EP를 인정하여 분석
    • 모있는데/NA -> 모이+있/EP+는데
  • [char:거]'느그/NP'를 따라 '느거/NP'
    • 느거/MMA -> 느거/NP
  • [char:롷]부사로 분석된 '요롷게'
    • 요롷게/MAG -> 요롷/VA+게
    • '이렇다'의 구어체 '요롷게'
  • [char:본]보조동사 '보'를 관형사로 분석한 경우
    • 본/MMD -> 보/VX+ㄴ/ETM
  • [char:인]의존명사로 분석된 지정사 '이'
    • 경사 ~인: 이/NNB+ㄴ/JX -> 이/VCP+ㄴ/ETM
• 명사로 분석돼 있는 '들'을 접미사로 수정
• '그만큼 담을 수 있는 용량'의 뜻을 갖는 접미사 바르게 수정
  • 들/NNG+이/JKS -> 들이/XSN
• '랄:이+라+하+ㄹ'을 하나의 어미로 처리(랄/ETM)(#709)
• 진행의 의미를 지닌 '찾아가다'의 경우 보조동사 '가다' 분석(#708)
  • 찾아가/VV로 분석 중에 어미 '-며, -면서'처럼 진행의 의미를 갖는 경우는 찾+아+가/VX+로 수정
• '분위기, 표현, 선입관' 등 심리적으로 공감이 되는 것 '와닿/VV'으로 분석
• '거 하다'의 목적어 '랄/ETM' 을 '랄/JKO'로 수정
  • 국한문혼용체를 현대식 표기로 옮긴 글
  • 강포(强暴)랄 거(拒)할지라.
• 원문을 수정할 수 없는 경우 augment=0으로 처리하여 학습 제외 조치
  • <춘향전>원문을 인용한 것으로 추정
  • 전사오류로 취급하지 않음
  • 원문을 수정하지 않고 해당 문장을 학습하지 않도록 처리
• '대+환영+하/VV'를 '대+환영+하/XSV'로 수정
• '어근+대/VV'를 'MAG+대/XSV'로 수정
  • '으르렁대/VV'를 '으르렁/MAG+대/XSV'로 수정
  • '꿈틀대/VV'를 '꿈틀/MAG+대/XSV'로 수정
  • '북적대/VV'를 '북적/MAG+대/XSV'로 수정
  • '주춤대/VV'를 '주춤/MAG+대/XSV'로 수정
  • '우쭐대/VV'를 '우쭐/MAG+대/XSV'로 수정
  • '삐걱대/VV, 휘청대/VV'를 '삐걱/MAG+대/XSV, 휘청/MAG+대/XSV'로 수정
  • (까르륵/깔깔/낄낄/킬킬/끽끽/킥킥/키득)/MAG+대/XSV'로 수정
  • '(낑낑,끙끙)/MAG+대/XSV'로 수정
  • '(씩씩,식식,쌕쌕)/MAG+대/XSV'로 수정
  • '(징징,찡찡)/MAG+대/XSV'로 수정
  • '짤랑/MAD+대/XSV', '껄떡/MAG+대/XSV', '살랑/MAG+대/XSV'로 수정
  • '굽신/MAG+대/XSV'로 수정
  • '건들/MAG+대/XSV'로 수정
  • '(찰랑,출렁,첨벙)/MAG+대/XSV'로 수정
  • '(비죽/삐죽)/MAG+대/XSV'로 수정
  • '킁킁/MAG+대/XSV'로 수정
  • '(꺵깽,끙끙,컹컹,쿵쿵,쿵쾅)/MAG+대/XSV'로 수정
  • '비틀/MAG+대/XSV'로 수정
  • '덜렁/MAG+대/XSV'로 수정
  • '(갸웃,기우뚱,기웃)/MAG+대/XSV'로 수정
  • '윙윙/MAG+대/XSV'으로 수정
  • '날름/MAG+대/XSV'로 수정
  • '헉헉/MAG+대/XSV'로 수정
  • '(바스락,부스럭)/MAG+대/XSV'로 수정
• 'X/MAG+거리/VV'를 'X거리/VV' 또는 'X/MAG+거리/XSV'로 수정
• '매우'라는 의미의 '겁나게'를 부사로 수정
• '닌깐'을 연결어미(EC)로 수정
• '명/NA'를 '명/XPN'으로 처리
• '존'을 '좋/VA+ㄴ/ETM'으로 분석
• '때메'를 '땜/NNB+에/JKB'로 분석
• '(으)려는지/EF'를 '(으)려는지/EC'로 수정
• '-차/NNG'를 '-/NNG+차/XSN'으로 쪼개어 분석
  • 훈련차/NNG -> 훈련/NNG+차/XSN
  • 사업차/NNG -> 사업/NNG+차/XSN
• '(ㄴ)다/EF+이/VCP+라면/EC(+은/JX)'을 'ㄴ다라면/EC'으로 수정
  • 진행/NNG+되/XSV+ㄴ다/EF+이/VCP+라면/EC+은/JX -> 진행/NNG+되/XSV+ㄴ다라면/EC+은/JX
• (어)야만이 관련 분석 통일(#745)
  • 사전에 하나의 연결어미로 등재된 것을 반영
  • 대표예시: 돼야만이 되/VV+어야/EC+만/JX+이/JKS -> 되/VV+어야만/EC+이/JX
  • (아/어)야만/EC로 수정
  • 라야만/EC로 수정
  • 느니만/EC로 수정
  • (ㄴ/는)다만/EC로 수정
  • (습/ㅂ)니다만/EC로 수정
    • 얘기합니다마는 얘기/NNG+하/XSV+ㅂ니다/EF+마는/JX -> 얘기/NNG+하/XSV+ㅂ니다마는/EC
  • 더니마는/EC로 수정
  • (으)련만/EC로 수정
• 'OO/XR+론/XSN'을 'OO론/NNG'로 수정
  • 무관론으로 무관/XR+론/XSN+/SS+으로/JKB -> 무관론/NNG+으로/JKB
• '협착/XR'을 '협착/NNG'로 수정
• 어근+접사로 쪼개지 않고 하나의 명사로 수정
  • 명사파생접미사 -쟁이, -들, -층, -형, -상, -률, -론 관련 수정
  • 어기를 명사로 수정하거나, 어기와 접사를 분리하지 않고 하나의 명사로 통합함.
• '어근(XR)+화/XSN' 를 하나의 명사로 수정
  • 현저화/NNG, 협소화/NNG, 간단화/NNG, 간편화/NNG, 과격화/NNG, 풍부화/NNG, 정교화/NNG, 긴밀화/NNG, 건실화/NNG
  • 세밀화/NNG, 방대화/NNG, 흉포화/NNG, 간략화/NNG, 다양화/NNG, 유연화/NNG, 첨예화/NNG, 명료화/NNG, 공고화/NNG
  • 복잡화/NNG, 왜소화/NNG, 획일화/NNG, 정당화/NNG
• 어근(XR)+성/XSN 관련 수정
  • 어근이 명사일 경우 'NNG+성/XSN'으로 수정: 유사/NNG+성/XSN
  • 'OO/XR+성/XSN'일 경우 'OO성/NNG'로 수정: 간결성/NNG
• 어근(XR)+시/XSN 관련 수정(#750)
  • 'OO/XR+시/XSN'을 'OO시/NNG'로 수정
  • 등한시/NNG, 당연시/NNG