Tokenizerに渡す引数が誤っている about expression_trans HOT 3 CLOSED

ご報告ありがとうございます。

開発時に利用していたSudachiPy v0.1.0ではTokenizerのparamは以下の仕様でしたが、その後メソッド関数の引数仕様が変更されたことが原因のようです。

https://github.com/WorksApplications/SudachiPy/blob/v0.1/sudachipy/tokenizer.py

class Tokenizer:
SplitMode = Enum("SplitMode", "A B C")

def __init__(self, grammar, lexicon, input_text_plugins, oov_provider_plugins, path_rewrite_plugins):
    self.grammar = grammar
    self.lexicon = lexicon
    self.input_text_plugins = input_text_plugins
    self.oov_provider_plugins = oov_provider_plugins
    self.path_rewrite_plugins = path_rewrite_plugins
    self.dump_output = None
    self.lattice = lattice.Lattice(grammar)

    if self.oov_provider_plugins:
        self.default_oov_provider = self.oov_provider_plugins[-1]

def tokenize(self, mode, text):

from expression_trans.

最新版のSudachiPyでの動作確認をしておりませんので、差し当たってはSudachiPy v1.0をご利用いただくか、全体的な動作保証はできませんがコードを現状に即する形で修正して使っていただくようお願いいたします。

現在フリーランスから正社員になったのもあり、多忙で最新のSudachiPyでの動作検証ができません。
可能であれば、修正して動作検証後に問題なければプルリク飛ばしていただけるとありがたいです(＿ ＿)

from expression_trans.

最新のSudachiPy v0.5.2で動作するように改修を実施し、v_0,2,1でご指摘の関数仕様変更にも対応しました。

from expression_trans.