单词纠错系统(Word Correction System)
简介:字符串的编辑距离可以用来表示字符串之间的相似度。如果一个单词拼写错误,那么可以根据编辑距离计算出与输入单词相似度最高的结果。系统接收用户输入任意单词,然后返回正确的结果供用户参考。
rptp网络库 + Mysql + Cache
rptp网络库
:封装了 ThreadPool 、定时器(Timerfd) 和 I/O mutiplexing。Mysql
:提供数据查询。Cache
:缓存最近的查询结果以减轻数据库的访问压力。- 整体思路:把TcpServer与ThreadPool结合,用户在回调函数中,把查询任务和数据回发任务封装成函数,交给线程池去处理。TcpServer所在的IO线程主要处理数据收发,线程池内的线程主要处理计算任务:若查询单词在Cache中,则直接取结果返回,否则查Mysql数据库进行处理。
- 配置模块
- 单例模式读取配置文件。
- 预处理模块
- 处理中英文语料生成中英文词典文件,形式为:
单词 词频
。- 对中文语料使用“结巴”分词(cppjieba)进行切词。
- 在Mysql中建立两张表(dictionary、dictionary_split),并将中英文词典文件内容写入两张表中
- dictionary: word(PRI) distance frequency
- dictionary_split: item word(PRI) distance frequency
- 处理中英文语料生成中英文词典文件,形式为:
- 缓存模块
- 两个内存Cache:Master Cache用于写操作,Slave Cache用于读操作。它们由CacheManager类统一管理。
- 线程执行任务时先查询Slave Cache:若在缓存中找到待查询条目,则直接返回查询结果,否则查询数据库。两种情况最后都需将查询结果更新至Master Cache以体现LRU策略。
- 主从复制 + 定时回写:设立两个定时器线程,第一个定时器线程每隔一段时间会将Master Cache内容复制到Slave Cache中;第二个定时器线程每隔一段时间会Slave Cache中的内容写回磁盘cache文件。定时器触发的时间间隔可由手工指定。
- 查询模块
- 若输入单词在缓存Cache中找到,则直接返回。
- 连接Mysql数据库进行查询:若输入单词在数据库dictionary table中,则直接返回;否则根据输入查询数据库dictionary_split table,得出一个结果集合,将集合中的每个单词同输入单词计算编辑距离,并将符合条件的单词放入优先级队列中,最终向用户返回优先级最高的单词。
- 日志模块
- producer-consumer模型。日志存于一个同步队列中,用一个线程专门负责向log文件写日志。
- 工具模块
- 封装文件I/O操作,字符串由UTF8编码向uint32_t数组转换,编辑距离计算 和 string修剪。
- 安装mysql-server和mysql-client
$ sudo apt-get update;
$ sudo apt-get install mysql-server;
$ sudo apt-get install libmysqlclient-dev;
- 登录Mysql,并在firstdb数据库下创建两个table
$ mysql> create table dictionary(
-> word VARCHAR(20) NOT NULL,
-> distance INT NOT NULL,
-> frequency INT NOT NULL,
-> PRIMARY KEY(word)
-> ) default charset=utf8;
$ mysql> create table dictionary_split(
-> item INT NOT NULL,
-> word VARCHAR(20) NOT NULL,
-> distance INT NOT NULL,
-> frequency INT NOT NULL,
-> PRIMARY KEY(word),
-> INDEX (item)
-> ) default charset=utf8;
- 修改conf文件夹下的配置文件config, 以配置Mysql帐号和密码
sql_user_name=root // 登录帐号
sql_password=1234 // 密码
- 系统建立
*/wcs$ ./wcs_build.sh
- 进入bin文件夹下运行server
*/bin$ ./server