Kiwi는 C++기반의 한국어 형태소 분석기 라이브러리입니다. 입력한 단어나 문장을 세종 품사 태그에 따라 분석하고 그 태그를 붙여줍니다. 분석기는 문어 텍스트의 경우 평균 94%의 정확도로 해당 텍스트를 분석해 낼 수 있습니다.
Kiwi는 C++기반으로 최적화되었으며 멀티스레딩을 지원하기에, 대량의 텍스트를 분석해야하는 경우 멀티코어를 활용하여 좀 더 빠르게 분석이 가능합니다.
오픈소스로 제공되는 C++ 라이브러리를 컴파일하여 사용하실 수 있습니다. Visual Studio 2015, 2017 환경에서 개발되었고 gcc 5.0 이상에서 컴파일되는 것을 확인했습니다. 컴파일에 필요한 별도의 의존 관계는 없으나, 컴파일러가 C++14 이상을 지원해야 합니다.
https://github.com/bab2min/Kiwi/wiki 를 참고하시길 바랍니다.
DLL로 컴파일된 바이너리를 이용하여 다른 프로그램에 Kiwi를 적용할 수도 있습니다. 최신 버전의 DLL은 https://github.com/bab2min/kiwi-gui/releases 의 zip파일의 bin_x86, bin_x64 폴더에 포함되어 있습니다.
https://github.com/bab2min/kiwi-gui
또한 Python3용 API인 Kiwipiepy가 제공됩니다. 이에 대해서는 https://github.com/bab2min/kiwipiepy 를 참조하시길 바랍니다.
Kiwi는 C# 기반의 GUI 형태로도 제공됩니다. 형태소 분석기는 사용해야하지만 별도의 프로그래밍 지식이 없는 경우 이 프로그램을 사용하시면 됩니다. 다음 프로그램은 Windows에서만 구동 가능합니다. https://github.com/bab2min/kiwi-gui 에서 다운받을 수 있습니다.
-
v0.1: 첫 릴리즈. 약 80% 정확도
-
v0.2: 정확도 85%까지 향상.
상호정보량 맵을 이용하여 분석 모호성 감소
서술격 조사 생략 추적 가능해짐
(분석 속도: 0.08MB/s)
-
v0.3 : 알고리즘 및 메모리 관리 최적화
실행속도 약 86% 향상 (분석 속도: 0.14MB/s)
- v0.4 : 알고리즘 개선
실행속도 약 101% 향상 (분석 속도: 0.28MB/s)
-
v0.5 : 언어 모형 개선(Kneser-Ney 3-gram LM)
전반적인 정확도 상승 (최소 89%에서 94%까지)
코퍼스에서 미등록 단어 추출 기능 추가
멀티스레딩 지원
-
v0.6 : 검색 알고리즘 최적화로 인한 속도 향상 (분석 속도: 0.33MB/s)
전반적인 정확도 상승 (92%~96%까지)
-
v0.7 : 사전 로딩 속도 개선
이형태 통합 유무 옵션 추가
분석 속도 향상
다음의 성능 평가는 konlpy-0.5.1에 포함된 Hannanum, Kkma, Komoran, Okt를 Kiwi와 비교한 것입니다.
평가는 AMD Ryzen 7 3700X @3.6GHz, RAM 32GB, Windows 10(64bit) 환경에서 진행되었습니다.
Loading | 1 | 10 | 100 | 1000 | 10000 | 100000 | |
---|---|---|---|---|---|---|---|
Hannanum | 0.434 | 0.003 | 0.005 | 0.015 | 0.055 | 0.424 | 5.360 |
Kkma | 2.481 | 0.004 | 0.062 | 0.087 | 0.348 | 2.058 | 21.054 |
Komoran | 1.068 | 0.005 | 0.003 | 0.009 | 0.045 | 0.469 | 17.974 |
Okt | 1.787 | 0.005 | 0.023 | 0.040 | 0.094 | 0.376 | 2.527 |
Kiwi | 1.009 | 0.002 | 0.002 | 0.004 | 0.029 | 0.137 | 1.361 |
Kiwi의 로딩 시간 및 처리 속도는 기존의 분석기들과 비교할 때 매우 빠른 편임을 확인할 수 있습니다.
위의 성능 평가는 https://github.com/bab2min/kiwipiepy/blob/master/evaluate.py 를 통해 직접 실시해볼 수 있습니다.
- 비문학(신문기사): 0.928
- 문학작품: 0.960
결과 예시
프랑스의 세계적인 의상 디자이너 엠마누엘 웅가로가 실내 장식용 직물 디자이너로 나섰다.
(정답) 프랑스/NNP 의/JKG 세계/NNG 적/XSN 이/VCP ㄴ/ETM 의상/NNG 디자이너/NNG 엠마누엘/NNP 웅가로/NNP 가/JKS 실내/NNG 장식/NNG 용/XSN 직물/NNG 디자이너/NNG 로/JKB 나서/VV 었/EP 다/EF ./SF
(Kiwi) 프랑스/NNP 의/JKG 세계/NNG 적/XSN 이/VCP ᆫ/ETM 의상/NNG 디자이너/NNG 엠마누/NNP 에/JKB ᆯ/JKO 웅가로/NNP 가/JKS 실내/NNG 장식/NNG 용/XSN 직물/NNG 디자이너/NNG 로/JKB 나서/VV 었/EP 다/EF ./SF
둥글둥글한 돌은 아무리 굴러도 흔적이 남지 않습니다.
(정답) 둥글둥글/MAG 하/XSA ㄴ/ETM 돌/NNG 은/JX 아무리/MAG 구르/VV 어도/EC 흔적/NNG 이/JKS 남/VV 지/EC 않/VX 습니다/EF ./SF
(Kiwi) 둥글둥글/MAG 하/XSA ᆫ/ETM 돌/NNG 은/JX 아무리/MAG 구르/VV 어도/EC 흔적/NNG 이/JKS 남/VV 지/EC 않/VX 습니다/EF ./SF
하늘을 훨훨 나는 새처럼
(정답) 하늘/NNG 을/JKO 훨훨/MAG 날/VV 는/ETM 새/NNG 처럼/JKB
(Kiwi) 하늘/NNG 을/JKO 훨훨/MAG 날/VV 는/ETM 새/NNG 처럼/JKB
아버지가방에들어가신다
(정답) 아버지/NNG 가/JKS 방/NNG 에/JKB 들어가/VV 시/EP ㄴ다/EF
(Kiwi) 아버지/NNG 가/JKS 방/NNG 에/JKB 들어가/VV 시/EP ᆫ다/EC
https://lab.bab2min.pe.kr/kiwi 에서 데모를 실행해 볼 수 있습니다.
Kiwi는 LGPL v3 라이센스로 배포됩니다.
이메일: [email protected]