wayne508 / xsimilarity Goto Github PK

汉语词语、组块、句子以及文本篇章等各个层面的相似度计算是中文信息处理领域的一项基础而又核心的工作，它直接决定着相关领域的研究发展状况，例如，在知识工程、基于实例的机器翻译、信息检索、自动问答以及拼写检查等方面，相似度计算都是一个非常关键的问题，长期以来一直是人们研究的一个热点和难点。相似度的研究涉及词语、组块、句子以及篇章等多个层面，目前的研究主要侧重于词语方面，提出了一些比较有代表性的理论与方法，如字面相似度算法、词素相似度算法，以及基于同义词词林、知网等语义词典的方法，国外的方法则主要包括基于构成字符的相似度计算方法、基于WORDNET的计算方法、基于词典注释的方法、基于大规模语料库统计的方法和基于搜索引擎的方法；有关组块、短语级别的相似度的研究现在还比较少，常用的方法是在词语相似度计算的基础上，借用句子相似度的计算方法计算组块之间的相似度。在句子层面的相似度计算方面，国外研究主要集中在字符串的相似度计算，国内则主要以词语为基本处理单元，通过计算相同词语所占的比重确定句子之间的相似度；文本层面的则集中于利用统计方法实现相似度计算。

xsimilarity项目为我们在相似度计算领域所取得的部分成果的Java代码实现，部分凌乱的代码已被去除，待重构之后再加入到工程之中。在相似度计算的研究过程中，许多研究学者的成果公布和无私帮助让我们受益匪浅，我们把代码开源出来，既是对前辈们表达我们的尊重之情，也希望能对大家共同的研究社区能有点滴贡献，能避免一些重复工作。

xsimilarity项目中所体现的**或许还比较幼稚，希望高手们能用宽容的胸襟对待，并不吝赐教，我们也将根据研究进展情况和大家的实际需求，不断改进，同时也欢迎大家加入到这个项目的开发过程中来，共同推进相似度计算在**的研究。

xsimilarity项目中的理论知识大家可以参考doc目录下的文章，以及《中文信息相似度计算理论与方法》一书，重要的参考资料、程序资源在书中已经提到，如有需要，我们在今后将单独整理成列表，供大家参考。

大家可以通过Eclipse导入项目，并运行ruc.irm.ui.Start进行快速测试。

联系方式：[email protected]