[NLP] 토큰화 및 형태소 분석, Mecab 윈도우에서 사용하기(사용자 사전 추가, 우선순위 변경)
·
Data Science/NLP
토큰화란? 형태소 분석이란? 자연어처리 과정 중에는 토큰화(Tokenize) 과정이 있다.한국어 토큰화를 진행할 때에는 형태소(morpheme)란 기준으로 토큰화 하기 때문에 '형태소 분석'이라고도 불린다. 한국어 토크나이저 및 형태소 분석기는 Mecab, Okt, Komoran, Kkma, Hannanum 등 여러가지가 있다.그 중 오늘은 Mecab을 사용해서 토큰화 및 형태소분석을 해보려고 한다. Mecab Mecab은 원래 일본어 형태소 분석기로 개발되었다. 일본어와 문법 체계가 비슷한 한국어를 위해 '은전한닢'이라는 한국어로 포팅하는 프로젝트를 통해 한국어 자연어 처리에 크게 기여한 형태소 분석기라고 한다. 위에서 말한 여러 형태소 분석기들이 있지만, 일반적으로 그 중 가장 뛰어난 성능을 보인다고..
