it运维,建设网站优化,辽宁鲲鹏建设集团网站,wordpress 菜单 锚点[ICML 2020] Rigging the Lottery: Making All Tickets Winners
整个训练过程中mask是动态的#xff0c;有drop和grow两步#xff0c;drop是根据权重绝对值的大小丢弃#xff0c;grow是根据剩下激活的权重中梯度绝对值生长没有先prune再finetune/retrain的两阶段过程 Laye…[ICML 2020] Rigging the Lottery: Making All Tickets Winners
整个训练过程中mask是动态的有drop和grow两步drop是根据权重绝对值的大小丢弃grow是根据剩下激活的权重中梯度绝对值生长没有先prune再finetune/retrain的两阶段过程 Layer-wise sparsity Uniform s l S s^lS slSErdos-Renyi 1 − ( n l − 1 n l ) / ( n l − 1 ∗ n l ) 1-(n^{l-1}n^l)/(n^{l-1}*n^l) 1−(nl−1nl)/(nl−1∗nl)Erdos-Renyi-KernelERK 1 − ( n l − 1 n l w l h l ) / ( n l − 1 ∗ n l ∗ w l ∗ h l ) 1-(n^{l-1}n^lw^lh^l)/(n^{l-1}*n^l*w^l*h^l) 1−(nl−1nlwlhl)/(nl−1∗nl∗wl∗hl)每层的参数量越大可以分配更大的sparsityERK的实验效果最好
[WACV 2022] Hessian-Aware Pruning and Optimal Neural Implant
用Hessian trace二阶导作为剪枝敏感度的指标敏感度高的部分保留敏感度低的部分被剪枝Prune之后finetune
[ICLR 2019] SNIP: Single-shot Network Pruning based on Connection Sensitivity
在模型初始化时根据连接敏感度一次性剪枝然后进行常规的训练
[ICLR 2021] Progressive Skeletonization: Trimming more fat from a network at initialization
在SNIP的基础上提出progresssive找mask提出FORCE前面所剪枝掉的权重可以在后面被激活这个过程是没有训练权重更新的只是在算被mask过后的权重的梯度然后topk
