最新的u2更新包，对于输入的utf8编码的句子仍然没有合并0结尾的量词。 about ik-analyzer HOT 12 CLOSED

我本地测试没有发生你说的这样情况，这是我这边的测试结��
�


$$  0-2 : 1丈 :    CN_QUAN
$$  2-5 : 三百克 :   CN_QUAN
$$  5-8 : 1公克 :     CN_QUAN
$$  8-10 : 5克 :   CN_QUAN
$$  10-13 : 10克 :     CN_QUAN
$$  13-14 : 向 :   CN_WORD
$$  14-16 : 迭代 :    CN_WORD
$$  16-17 : 最 :   CN_WORD
$$  17-20 : 细粒度 :     CN_WORD
$$  20-22 : 切分 :    CN_WORD
$$  22-24 : 算法 :    CN_WORD
$$  24-30 : 2000ml :    LETTER
$$  32-36 : 300克 :    CN_QUAN
$$  37-42 : 550毫升 :     CN_QUAN

我的win7  & linux 下都是这样。 使用ant运行。 
但是应该关系不大。

我的build.xml 见下。 
顺便可以附加到项目里，方便各类环境下编译。

[deleted comment]

我回持续关注这个问题，并继续获取其他用户的反馈！

顺便提醒，你是否使用了IK分词的smart模式，非smart模式的数��
�和量词是分开的。

ant 编译的就有问题。
如果是 eclipse 的鼠标右键 run As application 
就没有问题，合并到一起了。
奇怪。

代码是 smart 模式。 
编译处理的为啥不一样的呢？

        Analyzer analyzer 
            = new IKAnalyzer(true);
        AnalyzerTokenizerFactory tokFact = new AnalyzerTokenizerFactory(analyzer,"foo");

   61    63  |算法|
   64    66  |1丈|
   66    69  |三百克|
   69    72  |1公克|
   72    74  |5克|
   74    77  |10克|
   77    78  |向|
   78    80  |迭代|
   80    81  |最|
   81    84  |细粒度|
   84    86  |切分|
   86    88  |算法|
   88    94  |2000ml|
   96   100  |300克|
  101   106  |550毫升|
这是正常的用eclipse的鼠标右键运行时得到的结果。

补充一下。  我的.java文件是 utf8编码的。
ant编译时，也是添加了 utf8的编译选项。
    <javac debug="yes"
           debuglevel="source,lines,vars"
           destdir="build/classes"
           includeantruntime="false">
      <compilerarg value="-Xlint:all"/>
      <compilerarg line="-encoding UTF-8"/>

智能切分模式下，[20千克]可以分成一个词，[20公斤]却不能分
成一个词，这是为什么？（千克、公斤都已经添加入量词词��
�）

原文： 我卖了20公斤水果
—————————————————————— 
我 | 卖了 | 20公斤 | 水果 | 

这个是我的本地测试结果！！

基于上述问题，我将持续收集跟进

分词信息都会在控制台打印出来，请问这个能去掉吗，应该��
�么设置呢。

Comment 11 by [email protected], Sep 6, 2012
分词信息都会在控制台打印出来，请问这个能去掉吗，应该��
�么设置呢。

你用的是那个版本啊，IK不会将分词都打印出来啊，那样严重
影响效率的，减低100倍不止的