Comments (4)
Koziev
commented on May 20, 2024
Добрый день, Сергей,
с этими файлами я пока не придумал, как быть. Они большие, превышают лимит
на размер файлов для репозитория github. Выкладывать из где-нибудь на
гуглодрайве выглядит как-то некрасиво и неудобно, кмк.
Чтобы их сгенерировать, нужен достаточно большой корпус русскоязычных
текстов. У меня это около 10 Гб в utf-8. Для создания я использую gensim -
см. https://gist.github.com/Koziev/e39689adec30ae5bf6afaa1ca47c08e5
…On Thu, Sep 27, 2018 at 10:07 PM Sergey ***@***.***> wrote:
Добрый вечер.
В скриптах имеются активные ссылки на папки с данными, которых нет в
скачиваемом с github архиве. Например,
/home/eek/polygon/w2v/w2v.CBOW=0_WIN=5_DIM=32.txt.
При загрузке возникает также возникает ошибка при поиске двоичных файлов
w2v.CBOW=0_WIN=5_DIM=32.bin.
Из-за этого выполнение программы прерывается и на экран диалога не выходит.
Как можно получить недостающие данные: (а) от Вас? (б) создавая модели
тренировкой? (с) по другому?
С уважением
—
You are receiving this because you are subscribed to this thread.
Reply to this email directly, view it on GitHub
<#4>, or mute the thread
<https://github.com/notifications/unsubscribe-auth/AFPpVlgvhs7J5DTZmcjRuiR8bBGQvfZRks5ufRP4gaJpZM4W9L0z>
.
from chatbot.
espdev
commented on May 20, 2024
@Koziev здравствуйте,
Большие бинарные файлы лучше не хранить в git-репозитории. Вы можете размещать их в releases. Ограничение только на размер одного файла 2 Гб, но количество файлов и релизов неограниченно: https://help.github.com/en/articles/distributing-large-binaries
Это очень удобно для хранения больших бинарных файлов, которые требуются программе, и которые не нуждаются в версионировании.
Подробнее можно почитать в документации гитхаба: https://help.github.com/en/articles/creating-releases
from chatbot.
GraphGrailAi
commented on May 20, 2024
@Koziev а скажите, может быть подойдут готовые уже w2v модели с сайта https://rusvectores.org/ru/models/ ?
from chatbot.
Koziev
commented on May 20, 2024
может быть подойдут готовые уже w2v модели с сайта https://rusvectores.org/ru/models/ ?
Нет, потому что все языковые модели в чатботе обучены на векторах из файла https://github.com/Koziev/chatbot/blob/master/tmp/w2v.CBOW%3D1_WIN%3D5_DIM%3D64.bin
Если использовать другую w2v модель, то чатбот будет просто мусор выдавать в большинстве случаев.
from chatbot.
Related Issues (20)
- Ошибка при запуске через Docker
- The difference between gender in a name and gender in communication
- Не найдены скрипты flask_bot.sh и tg_bot.sh при компиляции из исходника HOT 2
- при запуске докера выдаёт ошибку 8 Illegal instruction
- Сборка HOT 28
- Сборка #2 HOT 22
- Код тренера GPT
- Где взять w2v.kv HOT 5
- web-служба для общения по API c сервисом бота HOT 6
- Где хранятся новые факты полученные в ходе общения? HOT 2
- Возможно уменьшить использование RAM? HOT 5
- отсутствуют файлы моделей HOT 3
- Closure detector HOT 5
- Скорость ответа HOT 5
- yaml не хочет парсить HOT 1
- Совет добавить encoding="utf-8" кое-где
- english version HOT 4
- Исправление сохранения фактов в БД
- TypeError: 'float' object is not iterable
- Ошибка в инструкции к запуску.
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from chatbot.