morphology analysis дээр ямар нөхцлөөр хувирсан үг болохыг нь хэрхэн мэдэх вэ? about dict-mn HOT 4 CLOSED

Hunspell дээр монгол толь хөгжүүлэх онолын ажил анх 10-аад жилийн тэртээ хийгдсэн байсан бөгөөд сүүлийн 3 жилийн хугацаанд бодитоор хэрэгжин хөгжүүлэгдэж байгаа юм. Hunspell толийг NLP тал дээр stemming хийхэд ашиглаж болно. Чиний асуусан сүүлийн асуултад хариу болгож unmunch (https://github.com/hunspell/hunspell#other-executables) ашиглаж үзэж болох юм гэж бодогдож байна. twofold affix stripping ашигласан толинуудад энэ нь ажилладаггүй тул unmunch-г засаж таарна.

NLP салбарт судалгаа хийдэг шинэ залуу эрдэмтэн багш нарын бүтээлүүдийг цаг зав гаргаж байгаад сонирхох болно. Баярлалаа.

from dict-mn.

Баярлалаа. Эхний асуултын хувьд энэхүү толио хангалттай хэмжээнд хөгжүүлсний дараа нөхцөл бүрийн утгыг оруулахаар төлөвлөсөн байгаа. Хоёр дахь асуултын хувьд гэвэл яг юунд ямар зорилгоор ашиглах хэрэгтэй болоод дээрх асуудал хөндөгдөж байгааг мэдмээр байна.

from dict-mn.

Эхний асуултын хувьд энэхүү толио хангалттай хэмжээнд хөгжүүлсний дараа нөхцөл бүрийн утгыг оруулахаар төлөвлөсөн байгаа.

Хөгжүүлэлт идэвхитэй хийгдэхгүй байгаа гэж ойлгосон юм, тэгвэл цаашдаа хөгжүүлэлт хийгдэж сайжирснаас ямар учраас ийн хувиргалт үүссэнийг мэдэх боломжтой юм байна гэж ойлголоо.

Хоёр дахь асуултын хувьд гэвэл яг юунд ямар зорилгоор ашиглах хэрэгтэй болоод дээрх асуудал хөндөгдөж байгааг мэдмээр байна.

Монгол хэл дээр хөгжүүлэгдэж байгаа language model-үүд үгээ задлахдаа одоогоор дандаа statistic pair tokenizer үүд ашиглаад байгаа юм байна гэж бодоод, энэ чиглэлд илүү тухайн хэлний дүрмийг (жишээ нь morphological analysis) тусгасан үг задлагч байвал language modeling task нь өөрөө хялбар болох юм байна гэсэн үүднээс судалж байгаа юм.

Энэ санаа мөн Хуягбаатар багш-ийн хийсэн ажлуудаас inspired болсон гэж бодож байна.

Би жишээ болгоод huggingface дээр байгаа tokenizer-үүдийг харьцуулсан demo хийсэн юм.

Одоогийн байгаа learning framework үүд дотор tokenizer ихэвчлэн 2 function-г time complexity багатайгаар хийж чадаж байгаа нь tokenizer.encode() ба tokenizer.decode() функцууд ба тэр нь сургалтын явцад үр дүнгээ evaluate хийхэд чухал үүрэгтэй бас санагдаж байгаа юм.

Энэ чиглэлд таны ажил болон МУИС-ийн lemmatize хийдэг демо одоогоор туршсан ч decode functionality дутмаг хэвээр байгаа санагдаад асуусан юм.

from dict-mn.

Хариу өгсөнд баярлалаа, энэ issue-г хаалаа.

from dict-mn.