Использовать возможности модуля collections about python HOT 9 CLOSED

Я использую Counter, Вы пропустили это issue?

from python.

Так и есть, ты тут ничего не ответил, я его не заметила

from python.

А стоп, ты читаешь все-все биграмы в память - это почти то же, что загрузить в оперативку все-все тексты два раза. А у тебя в нее по условию только одна строка влезает. Так не пойдет

from python.

Считываю кусок текста, все словосочетания записываю в список, делаю с ним Counter, чтобы превратить список в словарь и объединяю словарь с моделью и словарь со статистикой, полученной по этому куску текста
https://github.com/DmitriiP1/python/blob/11967bbceb020448fad3dc23922a7c5844a88bad/train.py#L65-L88
https://github.com/DmitriiP1/python/blob/11967bbceb020448fad3dc23922a7c5844a88bad/train.py#L103-L105

from python.

Слишком сложно, много кода для того, что можно сделать в 2 строки. Тебе не нужно собирать пары слов как строки со словами через пробел. Counter(zip(...)) - вот что нужно тут делать. Добавь в конец списка слов (полученного по строке) None и у тебя эти концы строк появятся сами)

from python.

https://github.com/DmitriiP1/python/blob/b2e78d857bc3c8e34b275f0f14fcacdbe8dda1ab/train.py#L62-L66

from python.

https://github.com/DmitriiP1/python/blob/fa24fd4a90e55225dbdf70a34e825d6f3812c983/train.py#L62-L68

from python.

https://github.com/DmitriiP1/python/blob/fa24fd4a90e55225dbdf70a34e825d6f3812c983/train.py#L69-L77

Преобразовывать модель к какому-то другому виду нужно только непосредственно перед записью - это будет быстрее. А когда ты биграммы считаешь, то используй только counter и обновляй его, через update - это будет быстрее

from python.

Исправил, теперь не остановится на последнем в тексте слове, если есть другие варианты
https://github.com/DmitriiP1/python/blob/529af2483d307800bc8a550fb0cbac5956d1804e/generate.py#L54-L63
Обновляю словарь со статистикой так:
https://github.com/DmitriiP1/python/blob/529af2483d307800bc8a550fb0cbac5956d1804e/train.py#L70-L72
Переместил преобразование модели к записи
https://github.com/DmitriiP1/python/blob/529af2483d307800bc8a550fb0cbac5956d1804e/train.py#L120-L129

from python.