fujiwarat / anthy Goto Github PK

This is unmaintained ancient stuff and not for general use.

このリリースは広く利用されることを目指したものではなく、現時点での開発者が
リリースを行なったイベント、webサイト等の参加者や読者に対する同人的ソフト的
なものです。実用的な価値を求めずに、技術的な面での議論のネタとして利用して
いただければ、開発者としては幸いです。

このため、一般的なオープンソースコミュニティ向けのソフトウェアに見られるような
メンテナンスや互換性の保持に関するコミットメントは無いものと解釈してください。
また、APIの変更に伴う関連するソフトウェアとの非互換等の問題があったとしても、
関連するソフトウェアの開発元への要求は避けてくださるようお願いします。

インストール(及びアンインストール)の方法はINSTALLをお読みください。
この配布物に含まれるデータのライセンスについてはCOPYINGをお読みください。

Yusuke Tabata ([email protected])


lattice中のパスの素性ベクトルに対し、そのベクトルを選択した際に
正変換となる確率を例文から学習することで文節の区切りを決定しています。
素性ベクトルから確率の決定はMemory Basedで行っています。
ベクトル空間のsparsenessに対応するため、複数のベクトル空間から確率を
計算し、それぞれを利用することで精度の向上を図っています。
複数の空間はそれぞれ
 (1) 低次元で一般的な形式の文節を扱うもの
 (2) 高次元で珍しい形式の正変換を扱うもの
 (3) 高次元で一定回数異常発生した誤変換を扱うもの
の3種類を利用しています。

候補の順序の決定には辞書中の頻度情報と正変換の確率を用いています。