批量操作的时候，每一次都要重新加载同义词表 about nlpcda HOT 2 CLOSED

我用这个模型做一个批量的处理，基本每个样本处理一次，都要重新load一次同义词表，这样巨慢，请问有什么好的方法可以只加载一次同义词表嘛？

def aug(df,create_num=3,change_rate=0.3):
    smw = Similarword(create_num=create_num, change_rate=change_rate)
    rs1 = smw.replace(df)
    for i in rs1:
        res = i
    return res

df_9['content_seg_new']= df_9['content_seg'].apply(lambda x:aug(x))

load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done
load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done
load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done
load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done
...

pandas的apply是并行的啊。当然这样了。你把smw = Similarword(...)放全局，或者当成参数传入。

from nlpcda.

赞

from nlpcda.