ivbelkin / icevision Goto Github PK

Написать загрузчик для cvat формата

Получить фаил формата cvat для RTDS датасета, содержащий знаки 8.22.*

Написать скрипт, котороый разметку в cvat формате, содержащую только боксы, расширит полигональными масками.

Написать скрипт, котрый из разметки в наборе .csv фаилов формата соревнования icevision сформирует .xml фаил, совместимый с cvat

The function find_tubelets in icevision/seq_bbox_matching.py, won't add the tubelet which end up with the last frame. So I suggest to add the following code before return tubelets

for tubelet in current_tubelets:
    tubelets.append(tubelet)

Данные в icevision идут в 2k, в то время как в сеть стоит отправлять картинки 1k.

Вместо того, чтобы все изображения приводить к размеру 1k, предлагается вырезать из исходного изображения прямоугольник (случайный, или выбирать из предопределенных) нужного размера (обязательно содержащий хотя бы один знак) и обучаться на смеси кропа и исходных изображений.

Подумать над аугментациями времени выполнения. Как для всей сети, так и только для proposals. Поддержка последнего, похоже, уже реализована в коде facebook-research/maskrcnn-benchmark.

#16

Обучить сеть на всех данных, на все классы в RTSD + 8.22 #9

По разметке в cvat формате сформировать фаил для посылки в тестирующую систему

Написать скрипт, который из фаила формата gt-full.csv сформирует .xml фаил, совместимый с cvat.

Подумать и подобрать параметры цветовых аугментаций изображений. Аугментации не должны быть слишком жесткими.

Предлагается использовать следующие библиотеки.
https://github.com/albu/albumentations
https://github.com/UjjwalSaxena/Automold--Road-Augmentation-Library

Также подумать о возможности отражения картинки относительно вертикали. Есть три типа знаков:

1. симметричные - никаких проблем при флипах нет
2. нессиметричные
   а. при флипе класс знака меняется
   б. при флипе получается несуществующий знак

Для всех данных из icevision, для которых есть разметка нужно определить следующее:

1. Распределение классов
2. Распределения размеров боксов. По каждой из сторон и по площади.
3. Распределение отношения сторон боксов.
4. Карту вероятности обнаружения бокса на изображении. Чем выше вероятность, тем выше интенсивность пикселя на карте.

Отчет в виде востроизводимого сверху вниз jupyter notebook с готовыми картинками в репозиторий.

Для визуализаций использовать matplotlib и seaborn. В последней есть методы countplot(для пункта 1) и distplot(для 2 и 3).

Нужно реализовать возможность делать предсказания сетью не только для каждого кадра, а с шагом в k кадров. При этом результаты для недостающих кадров получать интерполяцией.

Кроме того, для тестирования необходимо иметь возможность имея предсказания для каждого кадра сымитировать разреженные предсказания.

Фаил predictions.pth содержит результат инференса сети. Написать скрипт для его конвертации в .xml для просмотра в cvat

Нужно выкинуть сильно перекрывающиеся боксы, выделяя в каждой компоненте наиболее вероятный. Выход скрипта - фаил в таком же формате.

Подумать, как и чем разпознавать, к примеру, название города на соответствующем знаке. Кроме того, как обходится со знаком ограничения скорости. Вводить отдельный класс для каждого такого знака как-то не очень.

Можем использовать tesseract, либо что-то еще.