kesha787898 / pruning_by_clustering Goto Github PK

Работа по прунингу(удалению весов) нейросетей
cifar_training ноутбук по обучению resnet20 на датасете cifar10
cifar_pruning ноутбук по проунингу полученной нейросети.

Идея данного метода прунинга:
рассматривается базовый строительный блок resnet(conv1->bn1->conv2->bn2)
Для первой светрки кластеризуются фильтры и оставляются только центры кластеров.
В соответствии с числом кластеров изменяются веса и биасы bn1 и conv2.
В результате данных изменений размерность входа и выхода блока не изменяется, но внутри блока уменьшается число фильтров, что уменьшает число парметров и соответственно количество flops, что ускоряет инференс модели.