camel-lab / ced_word_alignment Goto Github PK

Consider the following example:
gold = "نحن نعيش في عالم رقمي حيث تتراكم كمية هائلة من المعلومات عنا"
hypo = "نعم نحن نعيش في عالم رقمي حيث تتراكم كمية هائلة من المعلومات عنا"

Will output:
SOURCE TARGET
نحن نحن
نعيش نعيش
في في
عالم عالم
رقمي رقمي
حيث حيث
تتراكم تتراكم
كمية كمية
هائلة هائلة
من من
المعلومات المعلومات
نعم عنا عنا

As you can see, the first word in hypo (نعم) was moved to the end of the alignment.
Thanks

Thank you for the great work.
I noticed that for words that appear consecutively, the aligner might get stuck.
For example:
gold = 'אמרתם מה שאני אבוא לקחת אותך מהבית'
hypo = 'אמרתי אמרתי להם מה אתה רוצה שאני אבוא אקח אותך מהבית לבוא לקחת אותך מהבית'
The only way to make the aligner work, was by removing the first word that is repeated twice in the hypo (אמרתי).
Just letting you know, maybe there is a simple solution.
Thank you!