deepcs233 / jieba_fast Goto Github PK

text_proc = text.replace('\n', ' ')

import time

# running jieba.cut()
jieba_words = [word for word in jieba.cut(text_proc, HMM=True)]

# running jieba_fast.cut()
jb_fast_words = [word for word in jieba_fast.cut(text_proc, HMM=True)]

print("Test set: 西遊記")
print("Number of unique jieba words: {}".format(len(set(jieba_words))))
print("Number of unique jieba_fast words: {}".format(len(set(jb_fast_words))))
print("Number of unique words in intersection: {}".format(len(set(jieba_words) & set(jb_fast_words))))
print("Number of unique words in union: {}".format(len(set(jieba_words) | set(jb_fast_words))))
print("IOU (intersection over union): {}".format(len(set(jieba_words) & set(jb_fast_words)) / len(set(jieba_words) | set(jb_fast_words))))

import pymongo
db = pymongo.MongoClient().weike.content_lectures

import jieba

class Document:
    def __iter__(self):
        for t in db.find(no_cursor_timeout=True):
            yield jieba.lcut(t['content'])

import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

from gensim.models import Word2Vec

word2vec = Word2Vec(Document(), size=128, window=10, min_count=5, sg=1, negative=10, workers=4, iter=10)
word2vec.save('weike.word2vec')

jieba                              0.39       
jieba-fast                         0.53  

Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 3.847 seconds.
Prefix dict has been built succesfully.
Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 2.129 seconds.
Prefix dict has been built succesfully.
Building prefix dict from /home/zeng/Code/work/jixin/PublicMonitoring/NoteBook/word_list_nnlm_128.txt ...
Loading model from cache /tmp/jieba.u2fcc826b59ac43bb4127b88239445c58.cache
True
Loading model cost 8.175 seconds.
Prefix dict has been built succesfully.
Building prefix dict from /home/zeng/Code/work/jixin/PublicMonitoring/NoteBook/word_list_nnlm_128.txt ...
Loading model from cache /tmp/jieba.u2fcc826b59ac43bb4127b88239445c58.cache
Loading model cost 6.771 seconds.
Prefix dict has been built succesfully.
False
['从', '一', '开始', '的', '不', '被', '看好', '到', '逆袭', '，', '拼', '多多', '只', '用', '了', '3', '年', '的', '时间', '。', '虽然', '上周', '的', '优惠', '券', '漏洞', '让', '拼', '多多', '被', '薅', '了', '千万', '羊毛', '，', '但却', '并未', '对其', '股价', '造成', '不利', '影响', '。', '25', '日', '拼', '多多', '市值', '报', '318', '．', '38', '亿', '美元', '，', '超过', '京东', '313', '．', '51', '亿', '的', '市值', '。', '拼', '多多', '股价', '周四', '大涨', '。', '截至', '收盘', '时', '，', '拼', '多多', '股价', '收', '于', '28', '．', '74', '美元', '，', '上涨', '2', '．', '07', '美元', '，', '涨幅', '达', '7', '．', '76', '％', '。', '而', '京东', '股价', '收', '于', '22', '．', '1', '美元', '，', '上涨', '0', '．', '13', '美元', '，', '涨幅', '为', '0', '．', '59', '％', '，', '成为', '**', '第二', '大', '电', '商', '平台', '。', '拼', '多多', '股价', '在', '过去', '的', '半年', '里', '波动', '强烈', '：', 'IPO', '定价', '于', '19', '美元', '，', '首', '日', '收盘', '价', '就', '达到', '26', '．', '70', '美元', '，', '涨幅', '达', '40', '．', '5', '％', '；', '之后', '不断', '下跌', '至', '17', '．', '22', '美元', '，', '然后', '就', '一路上', '涨', '，', '创造', '目前', '历史', '最高', '价', '30', '．', '48', '美元', '，', '但', '随后', '再次', '下跌', '，', '达到', '历史', '最低价', '16', '．', '53', '美元', '；', '此后', '公司', '股票', '在', '22', '美元', '附近', '震荡', '。', '拼', '多多', '股价', '波动', '强烈', '拼', '多多', '近日', '遭遇', '两大', '利空', '，', '一方面', '，', '拼', '多多', '被曝', '出现', '重大', '漏洞', '，', '引来', '大批', '用户', '“', '薅', '羊毛', '”', '，', '导致', '公司', '声誉', '和', '资金', '遭到', '重大', '损失', '。', '另一方面', '，', '拼', '多多', '股票', '的', '禁售', '期', '将于', '1', '月', '22', '日', '结束', '。', '届时', '，', '将', '有', '大量', '拼', '多多', '股东', '二级', '市场', '出售', '股票', '进行', '套现', '。', '虽然', '有', '很多', '人', '不', '喜欢', '拼', '多多', '，', '但是', '不得不', '说', '拼', '多多', '近来', '发展', '确实', '不错', '，', '而', '京东', '今年', '则', '比较', '坎坷', '，', '但', '在', '物流', '和服', '务', '方面', '还是', '口碑', '不错', '的', '。', '此前', '刘强', '东', '曾', '称', '京东', '和', '拼', '多多', '的', '商业', '模式', '不同', '。', '黄', '峥', '则', '回应', '称', '要', '多', '向', '电', '商', '前辈', '学习', '。']
['从', '一', '开始', '的', '不', '被', '看好', '到', '逆袭', '，', '拼', '多多', '只', '用', '了', '3', '年', '的', '时间', '。', '虽然', '上周', '的', '优惠', '券', '漏洞', '让', '拼', '多多', '被', '薅', '了', '千万', '羊毛', '，', '但却', '并未', '对其', '股价', '造成', '不利', '影响', '。', '25', '日', '拼', '多多', '市值', '报', '318', '．', '38', '亿', '美元', '，', '超过', '京东', '313', '．', '51', '亿', '的', '市值', '。', '拼', '多多', '股价', '周四', '大涨', '。', '截至', '收盘', '时', '，', '拼', '多多', '股价', '收', '于', '28', '．', '74', '美元', '，', '上涨', '2', '．', '07', '美元', '，', '涨幅', '达', '7', '．', '76', '％', '。', '而', '京东', '股价', '收', '于', '22', '．', '1', '美元', '，', '上涨', '0', '．', '13', '美元', '，', '涨幅', '为', '0', '．', '59', '％', '，', '成为', '**', '第二', '大', '电', '商', '平台', '。', '拼', '多多', '股价', '在', '过去', '的', '半年', '里', '波动', '强烈', '：', 'IPO', '定价', '于', '19', '美元', '，', '首', '日', '收盘', '价', '就', '达到', '26', '．', '70', '美元', '，', '涨幅', '达', '40', '．', '5', '％', '；', '之后', '不断', '下', '跌至', '17', '．', '22', '美元', '，', '然', '后就', '一路', '上涨', '，', '创造', '目前', '历史', '最', '高价', '30', '．', '48', '美元', '，', '但', '随后', '再次', '下跌', '，', '达到', '历史', '最低价', '16', '．', '53', '美元', '；', '此后', '公司', '股票', '在', '22', '美元', '附近', '震荡', '。', '拼', '多多', '股价', '波动', '强烈', '拼', '多多', '近日', '遭遇', '两大', '利空', '，', '一方面', '，', '拼', '多多', '被曝', '出现', '重大', '漏洞', '，', '引来', '大批', '用户', '“', '薅', '羊毛', '”', '，', '导致', '公司', '声誉', '和', '资金', '遭到', '重大', '损失', '。', '另一方面', '，', '拼', '多多', '股票', '的', '禁售', '期', '将于', '1', '月', '22', '日', '结束', '。', '届时', '，', '将', '有', '大量', '拼', '多多', '股东', '二级', '市场', '出售', '股票', '进行', '套现', '。', '虽然', '有', '很', '多人', '不', '喜欢', '拼', '多多', '，', '但是', '不得不', '说', '拼', '多多', '近来', '发展', '确实', '不错', '，', '而', '京东', '今年', '则', '比较', '坎坷', '，', '但', '在', '物流', '和', '服务', '方面', '还是', '口碑', '不错', '的', '。', '此前', '刘强', '东', '曾', '称', '京东', '和', '拼', '多多', '的', '商业', '模式', '不同', '。', '黄', '峥', '则', '回应', '称', '要', '多', '向', '电', '商', '前辈', '学习', '。']

# running jieba.cut()
jieba_words = [word for word in jieba.cut(text, HMM=True) if len(word) > 1 and len(word) <= 4]

# running jieba_fast.cut()
jb_fast_words = []

for word in jieba_fast.cut(text, HMM=True):
    if len(word) > 1 and len(word) <= 4:
        jb_fast_words.append(word)

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x88 in position 0: invalid start byte

The above exception was the direct cause of the following exception:

SystemError                               Traceback (most recent call last)
<ipython-input-37-ab60a3468933> in <module>()
      9 jb_fast_words = []
     10 
---> 11 for word in jieba_fast.cut(text, HMM=True):
     12     if len(word) > 1 and len(word) <= 4:
     13         jb_fast_words.append(word)

~/anaconda/envs/python3/lib/python3.6/site-packages/jieba_fast/__init__.py in cut(self, sentence, cut_all, HMM)
    306                 continue
    307             if re_han.match(blk):
--> 308                 for word in cut_block(blk):
    309                     yield word
    310             else:

~/anaconda/envs/python3/lib/python3.6/site-packages/jieba_fast/__init__.py in __cut_DAG(self, sentence)
    271             elif not self.FREQ.get(buf):
    272                 recognized = finalseg.cut(buf)
--> 273                 for t in recognized:
    274                     yield t
    275             else:

~/anaconda/envs/python3/lib/python3.6/site-packages/jieba_fast/finalseg/__init__.py in cut(sentence)
     95     for blk in blocks:
     96         if re_han.match(blk):
---> 97             for word in __cut(blk):
     98                 if word not in Force_Split_Words:
     99                     yield word

~/anaconda/envs/python3/lib/python3.6/site-packages/jieba_fast/finalseg/__init__.py in __cut(sentence)
     67 def __cut(sentence):
     68     global emit_P
---> 69     prob, pos_list = _jieba_fast_functions._viterbi(sentence, 'BMES', start_P, trans_P, emit_P)
     70     begin, nexti = 0, 0
     71     for i, char in enumerate(sentence):

SystemError: <built-in function _viterbi> returned a result with an error set