Comments (5)
pinyin 本身的字库(1.3M)和词库(1.8M),另外依赖了分词程序,其词典大约 10M,这是文件存储本身的大小,运行时的内存可能比这些更大些。
最早的时候,这个模块仅实现了 Web 版,提供了有限的常用字,并且不提供分词和词语功能。
同时为了追求算法上的极速,将整个字典装入内存,使用空间换得时间。
现在支持 Node 版,增加了分词和词组,用以提升同音字的拼音准确率,并提供了较为完整的拼音字库。
理论上,一次装载后,内存就基本稳定了(如果有内存泄漏请告知)
目前还没有找到非常有效的平衡性能和内存资源的方法。如有你有好的想法,请不吝赐教 :)
from pinyin.
怎样在NodeJS里使用Web版?我用的NodeJS里的cluster,共享内存有点麻烦,我在index.js里将if(isNode)
换成if(false)
后提示错误。BTW,使用Web版本和Node版有哪些区别?我只用多音字、不用几声,转换的都是比较常用的汉字或词。
from pinyin.
要分词处理多音字就不好精简了,否则可以考虑提供一个 Node 精简版,只提供单字拼音转换。
from pinyin.
好吧,我先这样用着吧。麻烦了
from pinyin.
同需要精简版,不需要考虑词组的问题,可否提供一下是否使用词组的选项,选项启用后再引入词组。试着优化了一下,去掉词组的话,取“你好”的拼音,本机(2013年Macbook Pro,8G内存)可以从1100+ms降到150ms左右,内存应该也会降一半以上。
P.S.之所以研究这个,是因为用微信开发了一个查通讯录的功能,服务器配置很低,查询词组耗时很大,经常导致超过微信5s响应时间。
from pinyin.
Related Issues (20)
- 《》和里面的内容被当成一个字符处理了 HOT 1
- 添加{mode: 'normal'}无效 HOT 4
- 吕姓pinyin怎么处理成LYU HOT 2
- ESM module imports require .js extension HOT 2
- 希望style可以多选 HOT 1
- 如何去除nodejieba依赖,云函数使用不了 HOT 1
- 能否搞一个DOCKER 给个端口 给个API可以直接用? HOT 1
- 能否兼容IE11 HOT 1
- README.md中存在错字 HOT 1
- 在uniapp中使用报错:Could not resolve "segmentit" imported by "pinyin". Is it installed? HOT 2
- npm上的版本问题 HOT 2
- https://github.com/hotoo/pinyin/tree/gh-pages/dist 这个内容找不到了
- 启用segmentation之后,支持让字/词与拼音的建立关联 HOT 1
- 包的入口文件不存在 HOT 3
- vue3 +ts的项目使用时候 npm i 之后 引用报这个错 HOT 4
- "重启"输出错误 HOT 2
- Next.JS: Module not found: Can't resolve 'pinyin' HOT 2
- 疑似内存泄露? HOT 1
- 莎车 suoche HOT 3
- 官网的文档只有英文与韩文 无法切换中文
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from pinyin.