Elasticsearch 토큰화

Q: Elasticsearch 한국어 토큰화에 바른을 쓰면 nori보다 무엇이 좋나요?

바른은 사용자 사전이 실시간으로 반영되어 고유명사·신조어 관리가 쉽고, 띄어쓰기 보정과 복합명사 처리로 토큰 경계가 안정적입니다. 품사 태깅 정확도 99.6%로 검색 정확도를 높일 수 있습니다.

Q: 색인 토큰과 검색 토큰 기준은 어떻게 맞추나요?

색인할 때와 검색할 때 동일한 사용자 사전과 옵션으로 바른을 호출하면 양쪽 토큰 기준이 일치해 매칭이 안정적입니다. 질의도 tagger.tags()로 토큰화한 뒤 검색하세요.

Q: Elasticsearch 한국어 토큰화에 바른을 어떻게 연동하나요?

바른을 색인 파이프라인의 전처리 단계에 둡니다. 문서 본문을 바른 형태소 분석으로 토큰 배열로 만든 뒤 whitespace나 keyword 분석기로 색인하고, 검색 질의도 같은 분석기로 토큰화합니다. REST는 Connect 경로 POST /bareun.LanguageService/AnalyzeSyntax 를 씁니다.

Q: 바른 사용자 사전을 바꾸면 Elasticsearch 노드를 재시작해야 하나요?

아니요. 바른 사용자 사전은 파일 변경을 실시간으로 감지해 반영하므로 사전을 바꿔도 서버 재시작이 필요 없습니다. nori와 달리 새 고유명사·신조어를 자주 추가하는 검색 서비스에서 운영이 단순합니다. 사용자 사전은 CustomDictionaryService API로 관리합니다.

Q: How do I use bareun for Korean tokenization in Elasticsearch instead of nori?

Put bareun's morphological analysis in the indexing pipeline: analyze each document into noun and verb base-form tokens, then index them with a whitespace or keyword analyzer, applying the same bareun analysis to search queries so indexing and query tokens stay consistent. Compared to nori, bareun's custom dictionary updates take effect immediately without restarting nodes, which simplifies handling new proper nouns and neologisms in a live search service.

Elasticsearch 한국어 토큰화에 바른 적용하기

Elasticsearch에서 한국어 검색 품질은 토큰화(analyzer) 에 달려 있습니다. 기본 내장 분석기인 nori는 빠르지만 신조어·고유명사·복합명사에서 오분석이 잦습니다. 바른의 형태소 분석을 색인 전처리 단계에 두면, 더 정확한 토큰으로 색인해 검색 정확도를 높일 수 있습니다.

문제 상황

nori는 사용자 사전 관리가 까다롭고, 새 고유명사가 등장할 때마다 노드 재시작이 필요한 경우가 많습니다.
걸어서세계속으로 같은 프로그램명이 엉뚱하게 쪼개져 검색에 걸리지 않습니다.
띄어쓰기가 흐트러진 문서(아름다운강산)는 토큰 경계가 어긋납니다.

플러그인을 쓰면 더 간단합니다

Elasticsearch 분석기로 바른을 직접 꽂는 플러그인이 있습니다. 색인 파이프라인을 따로 만들 필요가 없고, 색인할 때와 검색할 때 같은 분석기가 돌아 토큰 기준이 저절로 맞습니다.

아래 방식은 플러그인을 설치할 수 없는 환경(관리형 Elasticsearch 등)이나, 토큰을 만드는 규칙을 응용 프로그램에서 직접 정하고 싶을 때 씁니다.

바른을 어떻게 적용하나

색인 파이프라인에서 문서 본문을 바른으로 먼저 분석해 형태소 토큰 배열을 만들고, 이를 whitespace 또는 keyword 분석기로 그대로 색인합니다. 바른의 사용자 사전과 띄어쓰기 보정(auto_spacing)을 활용하면 nori보다 운영이 단순합니다.

graph TD
  DOC[원문 문서] --> BAREUN[바른 형태소 분석];
  BAREUN --> NORM[명사·용언 원형 토큰];
  NORM --> ES[Elasticsearch 색인];
  Q[검색 질의] --> BAREUN2[바른 분석];
  BAREUN2 --> ES;

색인 토큰과 질의 토큰을 동일한 바른 분석기로 만들면, 색인-검색 양쪽의 토큰 기준이 일치해 매칭이 안정적입니다.

코드출력

from bareunpy import Tagger

tagger = Tagger("koba-XXXX-...", "localhost")

def to_tokens(text: str):
    """본문을 색인용 토큰 배열로 변환합니다(명사 + 용언/형용사 원형)."""
    res = tagger.tags([text])
    tokens = res.nouns()                 # 체언
    for morph, tag in res.pos():
        if tag in ("VV", "VA"):          # 동사·형용사 원형도 색인
            tokens.append(morph)
    return tokens

print(to_tokens("걸어서세계속으로 다시 방송됩니다."))

['걸어서세계속으로', '방송', '걷', '되']

걸어서세계속으로를 사용자 사전의 고유명사 사전에 등록해 두면 하나의 토큰으로 유지됩니다.

결과와 이점

항목	nori	바른 적용
고유명사·신조어	사전 관리 번거로움	사용자 사전 실시간 갱신
복합명사	과분해 잦음	등재 시 유지 또는 의도대로 분해
띄어쓰기 오류	토큰 경계 어긋남	`auto_spacing` 보정 후 토큰화
정확도	보통	품사 태깅 99.6%

운영 팁

바른 사용자 사전은 파일 변경을 실시간으로 감지해 반영하므로, 사전을 바꿔도 서버 재시작이 필요 없습니다. 새 고유명사를 자주 추가하는 검색 서비스에 잘 맞습니다.

자주 묻는 질문

Q. nori를 완전히 대체해야 하나요?

상황에 따라 다릅니다. 정확도가 중요한 핵심 필드만 바른으로 전처리해 색인하고, 나머지는 nori를 쓰는 혼합 구성도 가능합니다.

Q. 색인과 검색 토큰 기준을 어떻게 맞추나요?

색인 시와 검색 시 같은 사용자 사전·같은 옵션으로 바른을 호출하면 됩니다. 질의도 tagger.tags()로 토큰화한 뒤 검색하세요.

Q. 실시간 색인 성능은 괜찮나요?

바른은 ONNX 런타임 기반으로 빠르게 추론합니다. 대량 색인은 문서를 배치로 묶어 tags([...])에 여러 문장을 한 번에 넘기면 처리량을 높일 수 있습니다.

Q. 바른과 Elasticsearch는 어떻게 연동하나요?

바른은 색인 파이프라인의 전처리 단계에 둡니다. 문서 본문을 바른으로 분석해 형태소 토큰 배열을 만든 뒤 whitespace나 keyword 분석기로 그대로 색인하고, 검색 질의도 같은 바른 분석기로 토큰화합니다. REST로 호출할 때는 Connect 경로(POST /bareun.LanguageService/AnalyzeSyntax)를 사용하면 됩니다.