emptinessboy / douban-comments-mapreduce Goto Github PK

这一步很多步骤和上面的数据清洗过程是类同的，相同的部分就仅展示过程截图了。

新建MapReduce项目：

由于中文分词和英文的词频统计有较大差异，我们无法通过简单的分隔符来切割中文的句子和段落（会造成语义问题），因此这里我借助了一个开源的第三方分词库 IKanalyzer。

下载地址（谷歌代码仓库）：http://code.google.com/archive

下载完成后，将分词包拖到项目的库文件目录中：（这里我使用的版本是3.2.8）

Map阶段代码：

分词处理代码：

Reduce阶段代码：

这里使用正则表达式进行筛选，仅保留中文分词结果。并同时 将value进行规约。

这部分代码主要是指定Mapper类，Reduce类，指定文件的输入输出信息以及期交MapReduce作业。

打包并运行MapReduce：

查看运行结果：

运行完成后可以通过浏览HDFS的输出文件夹查看效果。

将HDFS的文件下载到本地 后，可以 看到基于中文分词的词频统计