maximksh / sound-of-pixels Goto Github PK

Подготовка:

1. Скачать датасет. Предобработанный https://drive.google.com/file/d/1WF0W9qWWsgPoAAxi4akHJ1kk2BEzYhAr/view?usp=sharing
2. Распаковать его в репозиторий data/frames и data/audio
3. Выполнить python3 scripts/create_index_files.py. Оригинальный скрипт разбивал по-простому, в статье указывалось, что разбиение производилось train=solo+duet, val=solo, test=duet, поэтому пришлось его допилить.
4. запускаем обучение scripts/train_MUSIC.sh

Результаты работы кладуться в ckpt/<зависит от параметров>/visualization

Проблема:
Согласно стандартным настройкам, на каждой эпохе выполняется дублирование датасета "--dup_trainset 100" (значение по умолчанию, задано в arguments.py). Если же учится по одному проходу, то все гораздо грустнее

Подготовка:

1. Скачать датасет. Предобработанный https://drive.google.com/file/d/1WF0W9qWWsgPoAAxi4akHJ1kk2BEzYhAr/view?usp=sharing
2. Распаковать его в репозиторий data/frames и data/audio
3. Выполнить python3 scripts/create_index_files.py. Оригинальный скрипт разбивал по-простому, в статье указывалось, что разбиение производилось train=solo+duet, val=solo, test=duet, поэтому пришлось его допилить.
4. Качаем scripts/download_trained_model.sh, затем запускаем scripts/eval_MUSIC.sh

Результаты работы кладуться в ckpt/<зависит от параметров>/visualization

Проблема:
При стандартных настройках (указаны в train_MUSIC.sh и eval_MUSIC.sh) берется три кадра (--num_frames 3) с шагом 24 (--stride_frames 24). Видео на выходе получается 9 секунд по заголовку, по факту 6 секунд и кадр там не меняется вообще. Аудио при этом нормальное, на 6 секунд (5.9), если быть точным. Если ставить меньше stride и больше num_frames, то кадры начинают меняться.