剪枝问题 about yolov3-network-slimming HOT 9 OPEN

是在稀疏化训练之后么，是否剪枝过多？

from yolov3-network-slimming.

@talebolano 稀疏化率用的是默认0.0001 ，剪枝比例用的默认0.3 模型用的yolov3，这里面应该有个处理过程，就是当出现剪枝后的通道数为0的时候应该取当前层最大的channel保留把

from yolov3-network-slimming.

是的，应该保留，我看你只有最后几层被剪掉了，其他层都没有变过，你是用了什么数据集，稀疏化水平如何？

from yolov3-network-slimming.

@talebolano 这个是我训练数据的稀疏化水平： 020%:0.793500,2040%:0.875185,4060%:1.030651,6080%:1.364402,80~100%:6.337093

from yolov3-network-slimming.

看原论文上是稀疏化到0.01之后去减的

from yolov3-network-slimming.

@talebolano 你有没有试过在有些数据集上训练yolov2,由于数据本身复杂性，利用L1正则去稀疏可能也不会带来太大的稀疏性，导致根本无法剪枝，即每一层的channel都是有用的？

from yolov3-network-slimming.

是的，这也是困扰我的问题，我尝试过替换惩罚项，换成kl散度，剃度截断还有ista，都不怎么work。你看过rethinking the value of network pruning那篇论文了么，像那篇论文所说，也许可以对稀疏化这个步骤换一种思路

from yolov3-network-slimming.

@talebolano 还没仔细研究，我觉得想要剪枝效果好，首先前提是网络容量相对数据集要充分大，作者用cifar10做测试是不对的，cifar10只要一个很小的网络就可以达到高的精度

from yolov3-network-slimming.

请问下，这和剪枝是怎么实现的，怎么丢弃的。我理解中的剪枝的实现方法，就是为权重施加一个相同大小的Mask, Mask中只有激活的地方才是1，其余全0。
可是，作者这个就是真真正正的剪枝，剪完之后，通道确实少了，模型确实变小了

from yolov3-network-slimming.