1.6.0 (Jul 15, 2021)

새로운 기능

train: 텐서플로우 체크포인터 콜백 방식으로 학습 방법 변경
train: seg 모델 및 tag 모델의 파라미터 개수 변경
- 전반적으로 파라미터 개수를 상향 조정
- seg 모델의 경우 LSTM 파라미터 개수를 늘림.
- tag 모델의 경우 embedding 파라미터 개수를 늘림.
train: reccurent_dropout 삭제
preproc: 학습에서 제거할 문장을 선정하는 기능 추가
- 태깅 오류 및 학습 악영향 데이터 제거
- 읿부 문학적 표현 및 고어 표현 등으로 인한 오류 예방
preproc: 통계 분석을 통한 저빈도 음절 및 단어 출현 추적
preproc: '오류_이_모음순행동화_요여' 레이블, 이모음 순행동화에 따른 관습적인 맞춤법 오류 반영
- 씌여, 기여, 피여 등 순행동화 데이터 보강
- 이모음 순행 동화의 경우 보조용언의 경우에도 처리
- 십시요, 십시오 둘다 허용해서 관련 레이블 제거
- '오'를 '요'로 사용하는 오류에 대한 정리
preproc: '여'불규칙에 카+[아,았] 추가
preproc: 다라자냐의 경우, 대래내냬를 포함가능, 복원함수 수정
preproc: 인용 "하" 관련 레이블 통폐합
service: 환경설정을 외부 디렉터리에서 로딩할 수 있도록 개선 (HOME/.baikal 디렉터리)
- 환경설정 파일에 버전 정보 추가 (각 버전별로 환경설정 추가 가능)
service: 서버가 다운된 원인을 메시지를 로그로 기록
- 재시작 전에 원인이 된 요청 메시지를 로그로 기록

결함 및 개선

service: go 서버의 코드 정비 및 옵티마이징
service: go 서버에 실행 정보 출력 (PID, 서버 대기 주소)
service: go 서버에서 폐기된 protobuf 패키지 변경
preproc: 전처리 과정에서 빈도수 낮은 단어 계산 오류
preproc: 잖 = "+하+지+않+"일 경우, 전처리 오류 해결
build: md2html의 버그 자체 패치, 도커에 포함된 매뉴얼 오류 수정

학습데이터 세부 수정 사항

'이/VCP'생략 관련 데이터 보강
'찾아가/VV'와 '찾+아+가'의 분석이 혼용돼 있어 '찾아가/VV'로 통일 (보/VX의 경우 예외)
'고되다: 고/NNG+되/XSA'로 분석 통일
합리+적/XSN
감사+하/XSA
사람이름+이: 하나의 고유명사로 수정
'이로 끝나는 명사'+이+어미: 분석 오류 수정: 호랑/NNG+이/VCP -> 호랑이/NNG+이/VCP
'이'로 끝나는 명사+이+어미 데이터 보강
'얼마+만/JX+에' -> '얼마+만/NNB+에' 분석 오류 수정
다양한 문자로 끝나는 명사와 계사 조합
- 둔, 든, 들 등 '명사+이+어미' 문장 추가
- 걘, 껍, 난, 낸 등 '명사+이+어미' 문장 추가
- 음절 빈도 5이하 정확도 50이하인 음절 레이블 문장 추가
- '명사+이+어미'인 경우 어떤 레이블 분석에 따르는지 알기 위해 파일명 변경
- '에서+이+ㄴ지', '부터+이+ㄹ까' 등 '이'가 복원되도록 문장 추가
띄어쓰기 후 나타나는 '란' 데이터 보강 및 성능 향상
이/VCP 축약된 쇼/슈의 경우 데이터 보강
종성없는 명사+이+시+오 데이터 보강
한글 문자의 형태소 태깅이 잘못된 경우
- 았/SP(기호) -> 았/EP(선어말어미)
- 다/SF(기호) -> 다/EF(종결어미)
이/VCN으로 태깅된 경우 바로 잡음.
'이카다, 저카다' 등 어간을 인정한 데이터 보강
- '이캤다, 저캤다, 그캤다' 데이터 보강
- '당캤다면서' 의미상 방언이 아니므로 '당했다면서'로 원문 수정
간접인용 '하' 생략 어형 어미 인정
보조동사 '가다'가 쓰인 예는 '찾+아+가'로 원복
보조사로 분석된 '니' 1건 접속조사로 분석
찾+아+가+아+지+고서 -> 찾+아+가지/VX+고
'-어지다' 한 단어 처리
다른/MMD와 다르/VA+ㄴ/ETM 전체 다시 검사
- '각기 다르다'일 때 다르/VA+ㄴ/ETM으로 분석 수정
- 비교 논항이 아닌 other의 의미를 가질 때 분석 수정
- 전혀, 각각, 각기, 저마다, 해마다 등의 내용 뒤에 위치하는 '다른'은 주로 비교
- '와/과 다르다'의 비교논항일 때 '다르/VA+ㄴ/ETM'으로 분석 수정
- '다른/MMD'는 전혀, 각각 등의 부사어 수식을 받지 않아 '다르/VA+ㄴ/ETM'으로 수정
- 각각 다른, 전혀 다른, 사람마다, 저마다 다른: 다르/VA+ㄴ/ETM으로 분석 수정
- 부사어의 수식, 'A와 B가 각각 다르다'의 의미
- '다른/MMD'는 주로 부사어의 수식을 받을 수 없고, other의 의미를 가지고, 비교 논항이 없음
- '면면이 다르다'의 의미일 때 '다르/VA+ㄴ/ETM'으로 분석
- '-와/과 다르다', '-이/가 다르다'의 논항일 때 '다르/VA+ㄴ/ETM'으로 분석
- '사뭇+다르다'의 논항일 때, '다르/VA+ㄴ/ETM'으로 수정
- '종류에 따라 다른' 등 '다르다'의 의미를 가질 때
- '시시각각+다른'과 같이 '다르다'의 의미를 가질 때 '다르/VA+ㄴ/ETM'으로
- '엄연히, 다소, 각기+다르다'의 의미일 때 '다르/VA+ㄴ/ETM'으로 수정
- '각기, 다소 다르다' 논항을 취할 때 '다르/VA+ㄴ/ETM'으로 수정
- '기업마다 다른'과 같은 비교 논항을 취할 때 '다르/VA+ㄴ/ETM'으로 수정
- '-것과 다른' 등의 어형 '다르/VA+ㄴ/ETM`으로 분석 수정
- 서술어로써 '다르다', 각각/MAG+다르/VA
- '인간-다른 생물'일 때 other의 의미
문맥상 '나/NP'를 '나/VV'로 분석한 태깅 오류 수정
'곤/EC'와 '고/EC+ㄴ/JX'
- '-하곤 했다' 구성 이외의 '곤'은 '고+ㄴ'으로 수정
- 조건의 의미를 가진 "곤/EC": 제외하곤, 빼곤 등
- 하고/JKB+ㄴ/JX의 경우: 하/XSA+고/EC+ㄴ/JX -> 하고/JKB+ㄴ/JX
부사나 동사파생접미사가 결합해서 만들어진 동사
- '껌뻑이다' 한 단어 처리
- '으쓱이다' 한 단어 처리
- '찰싹이다' 한 단어 처리
- '헐레벌떡이다' 한 단어 처리
- '번쩍이다' 한 단어 처리
- '까딱이다' 한 단어 처리
- '펄떡이다' 한 단어 처리
- '끄떡이다' 한 단어 처리
씌여, 기여, 피여 등 순행동화 데이터 보강
- '되' 앞에 보격조사 '이'로 수정
- 'ㅣ'모음 순행동화 데이터 보강
-하-가 생략되어서 굳은 표현이 되었지만, 우리말샘에 없는 어미들 추가
- 잘지, 달지 하나의 어미로 분석
- '대도' 하나의 어미로 분석
- '랬지' 하나의 어미로 분석
- 잔다고, 잔대도, 잰다고 등 하나의 어미로 분석
- '란다고' 하나의 어미로 분석
- 래서, 대서, 재서 등 하나의 어미로 분석
'복수'의 뜻을 더하는 접미사 '들/XSN'
모무의 말뭉치 구어의 경우, 어절 단위 분석이 잘못된 경우 경우 원문 수정
- 이캐서
- 이캤더니 등에 대한 처리 가능
종성 없는 명사+이+시/EP 예시 문장 보강
뿌려죠, 와죠: '-아/어'/EF+죠/JX, '죠/JX'는 '주+어'의 준말
합성동사 띄어쓰기 여부에 따른 분석 변화 수정
- '흉내내다' 한 단어 분석
'ㄴ/는' 생략의 경우 '~다 말이다'와 같은 꼴로 인용문 취급해 종결어미로 분석
'어야 하겠다'의 준말 '하'복원
"그니깐, 근깐, 그러니깐, 그르니깐" 분석 수정
'기에/EC'와 '기/ETN+에/JKB'분석 검토
들어서+ㄴ -> 들+어서+ㄴ로 원복(맥락에 따른 분류)
2300 여개 음절별 레이블별 오류 검사 결과 반영
- 건: (진건/NNP)고유명사를 거/NNB+ㄴ/JX로 분석한 경우
- 건: 거/NNB+ㄴ/JX -> 걸/VV+ㄴ/ETM
- 여간/NNG -> 여/XSN+간/XSN
- 진: ㄹ받침 용언+ 지/EC로 수정(알진, 멀진)
- 설: 멈추+어서+ㄹ -> 멈추+어+서+ㄹ
- 선: 모이+어서+ㄴ -> 모이+어+서+ㄴ 수정
- 선: 비키+어서+ㄴ -> 비켜서+ㄴ수정
- 깐: 으니까/EC+ㄴ/JX -> 으니깐/EC 통일
- 깐: 니까/EC+ㄴ/JX -> 니깐/EC통일
- 단: 단/ETM -> 다/EC+ㄴ(2건) 복원 - 이러단, 줬단
- 등 다수 (정확히 기록된 것만을 명시적으로 정리)

바른 1.6.0 변경 사항

1.6.0 (Jul 15, 2021)

새로운 기능

결함 및 개선

학습데이터 세부 수정 사항