CppJieba English
CppJieba是"结巴(Jieba)"中文分词的C++版本
- 源代码都写进头文件
include/cppjieba/*.hpp里，include即可使用。 - 支持
utf-8, gbk编码，但是推荐使用utf-8编码， 因为gbk编码缺少严格测试，慎用。 - 项目自带较为完善的单元测试，核心功能中文分词(utf8)的稳定性接受过线上环境检验。
- 支持载自定义用户词典，多路径时支持分隔符'|'或者';'分隔。
- 支持
Linux,Mac OSX,Windows操作系统(Visual Studio 2012中编译通过，需要开Release模式，如果在Debug模式下会因为isspace之类的标准函数实现对中文支持不太好的原因导致运行终止)。
g++ (version >= 4.1 is recommended) or clang++;cmake (version >= 2.6 is recommended);
git clone --depth=10 --branch=master git://github.com/yanyiwu/cppjieba.git
cd cppjieba
mkdir build
cd build
cmake ..
make有兴趣的可以跑跑测试(可选):
make test
./demo
结果示例：
[demo] Cut With HMM
我/是/拖拉机/学院/手扶拖拉机/专业/的/。/不用/多久/，/我/就/会/升职/加薪/，/当上/CEO/，/走上/人生/巅峰/。
[demo] Cut Without HMM
我/是/拖拉机/学院/手扶拖拉机/专业/的/。/不用/多久/，/我/就/会/升职/加薪/，/当/上/C/E/O/，/走上/人生/巅峰/。
[demo] CutAll
我/是/拖拉/拖拉机/学院/手扶/手扶拖拉机/拖拉/拖拉机/专业/的/。/不用/多久/，/我/就/会升/升职/加薪/，/当上/C/E/O/，/走上/人生/巅峰/。[demo] CutForSearch
我/是/拖拉机/学院/手扶/手扶拖拉机/拖拉/拖拉机/专业/的/。/不用/多久/，/我/就/会/升职/加薪/，/当上/CEO/，/走上/人生/巅峰/。
[demo] Insert User Word
男默/女泪
男默女泪
[demo] Locate Words
南京市, 0, 3
长江大桥, 3, 7
[demo] TAGGING
我是拖拉机学院手扶拖拉机专业的。不用多久，我就会升职加薪，当上CEO，走上人生巅峰。
["我:r", "是:v", "拖拉机:n", "学院:n", "手扶拖拉机:n", "专业:n", "的:uj", "。:x", "不用:v", "多久:m", "，:x", "我:r", "就:d", "会:v", "升职:v", "加薪:nr", "，:x", "当上:t", "CEO:eng", "，:x", "走上:v", "人生:n", "巅峰:n", "。:x"]
[demo] KEYWORD
我是拖拉机学院手扶拖拉机专业的。不用多久，我就会升职加薪，当上CEO，走上人生巅峰。
["CEO:11.7392", "升职:10.8562", "加薪:10.6426", "手扶拖拉机:10.0089", "巅峰:9.49396"]
详细请看 test/demo.cpp.
MPSegment
Output:
我来到北京清华大学
我/来到/北京/清华大学
他来到了网易杭研大厦
他/来到/了/网易/杭/研/大厦
小明硕士毕业于**科学院计算所，后在日本京都大学深造
小/明/硕士/毕业/于/**科学院/计算所/，/后/在/日本京都大学/深造
HMMSegment
我来到北京清华大学
我来/到/北京/清华大学
他来到了网易杭研大厦
他来/到/了/网易/杭/研大厦
小明硕士毕业于**科学院计算所，后在日本京都大学深造
小明/硕士/毕业于/**/科学院/计算所/，/后/在/日/本/京/都/大/学/深/造
MixSegment
我来到北京清华大学
我/来到/北京/清华大学
他来到了网易杭研大厦
他/来到/了/网易/杭研/大厦
小明硕士毕业于**科学院计算所，后在日本京都大学深造
小明/硕士/毕业/于/**科学院/计算所/，/后/在/日本京都大学/深造
FullSegment
我来到北京清华大学
我/来到/北京/清华/清华大学/华大/大学
他来到了网易杭研大厦
他/来到/了/网易/杭/研/大厦
小明硕士毕业于**科学院计算所，后在日本京都大学深造
小/明/硕士/毕业/于/**/**科学院/科学/科学院/学院/计算/计算所/，/后/在/日本/日本京都大学/京都/京都大学/大学/深造
QuerySegment
我来到北京清华大学
我/来到/北京/清华/清华大学/华大/大学
他来到了网易杭研大厦
他/来到/了/网易/杭研/大厦
小明硕士毕业于**科学院计算所，后在日本京都大学深造
小明/硕士/毕业/于/**/**科学院/科学/科学院/学院/计算所/，/后/在/**/**科学院/科学/科学院/学院/日本/日本京都大学/京都/京都大学/大学/深造
以上依次是MP,HMM,Mix三种方法的效果。
可以看出效果最好的是Mix，也就是融合MP和HMM的切词算法。即可以准确切出词典已有的词，又可以切出像"杭研"这样的未登录词。
Full方法切出所有字典里的词语。
Query方法先使用Mix方法切词，对于切出来的较长的词再使用Full方法。
自定义词典示例请看dict/user.dict.utf8。
没有使用自定义用户词典时的结果:
令狐冲/是/云/计算/行业/的/专家
使用自定义用户词典时的结果:
令狐冲/是/云计算/行业/的/专家
我是拖拉机学院手扶拖拉机专业的。不用多久，我就会升职加薪，当上CEO，走上人生巅峰。
["CEO:11.7392", "升职:10.8562", "加薪:10.6426", "手扶拖拉机:10.0089", "巅峰:9.49396"]
详细请见 test/demo.cpp.
我是蓝翔技工拖拉机学院手扶拖拉机专业的。不用多久，我就会升职加薪，当上总经理，出任CEO，迎娶白富美，走上人生巅峰。
["我:r", "是:v", "拖拉机:n", "学院:n", "手扶拖拉机:n", "专业:n", "的:uj", "。:x", "不用:v", "多久:m", "，:x", "我:r", "就:d", "会:v", "升职:v", "加薪:nr", "，:x", "当上:t", "CEO:eng", "，:x", "走上:v", "人生:n", "巅峰:n", "。:x"]
详细请看 test/demo.cpp.
支持自定义词性。
比如在(dict/user.dict.utf8)增加一行
蓝翔 nz
结果如下：
["我:r", "是:v", "蓝翔:nz", "技工:n", "拖拉机:n", "学院:n", "手扶拖拉机:n", "专业:n", "的:uj", "。:x", "不用:v", "多久:m", "，:x", "我:r", "就:d", "会:v", "升职:v", "加薪:nr", "，:x", "当:t", "上:f", "总经理:n", "，:x", "出任:v", "CEO:eng", "，:x", "迎娶:v", "白富美:x", "，:x", "走上:v", "人生:n", "巅峰:n", "。:x"]
- GoJieba go语言版本的结巴中文分词。
- NodeJieba Node.js 版本的结巴中文分词。
- simhash 中文文档的的相似度计算
- exjieba Erlang 版本的结巴中文分词。
- jiebaR R语言版本的结巴中文分词。
- cjieba C语言版本的结巴分词。
- jieba_rb Ruby 版本的结巴分词。
- iosjieba iOS 版本的结巴分词。
- gitbook-plugin-search-pro 支持中文搜索的 gitbook 插件。
- pg_jieba PostgreSQL 数据库的分词插件。
- ngx_http_cppjieba_module Nginx 分词插件。
- cppjiebapy 由 jannson 开发的供 python 模块调用的项目 cppjiebapy, 相关讨论 cppjiebapy_discussion .
- KeywordServer 50行搭建一个中文关键词抽取服务。
Web-Demo (建议使用chrome打开)
- Email:
[email protected] - QQ: 64162451
- WeChat:
"结巴"中文分词作者: SunJunyi
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent