harveyaot / dianjing Goto Github PK

您好！
在做一个类似项目，在分完词后发现有很多时间和数字的word
想到的处理方法是这样的：
无论在training还是predict都将所有数字和时间标注为特殊字符，如果predict的结果有特殊字符则使用者自行替换。

def getAsCp():
t = int(math.floor(time.time()))
e = hex(t).upper()[2:]
m = hashlib.md5()
m.update(str(t).encode(encoding='utf-8'))
i = m.hexdigest().upper()

if len(e) != 8:
    AS = '479BB4B7254C150'
    CP = '7E0AC8874BB0985'

    return AS, CP
n = i[0:5]
a = i[-5:]
s = ''
r = ''
for o in range(5):
    s += n[o] + e[o]
    r += e[o + 3] + a[o]

AS = 'A1' + s + e[-3:]
CP = e[0:3] + r + 'E1'
return {'as': AS, 'cp': CP}

一份large data set 包含 700k左右的training 样本， 将稍候公开 （ETA Mar. 2018）
我想向您索要这个大语料,能共享一下吗?
我的邮箱:[email protected] 谢谢