基于Fisher信息距离的神经网络架构最优剪枝
事件
一项新研究提出基于模型空间微分几何距离的参数剪枝方案。剪枝本质上是把参数置零，相当于将模型移动到该参数消失的超曲面上；而未剪枝模型到这个超曲面的最短距离，可由Fisher信息度量决定的测地距离自然算出。这个距离刻画了剪枝给模型及其性能带来的真实变化，据此可以推导出一套剪枝最优性的层级结构：从传统的幅度剪枝出发，逐步发展出更精细、更有效的剪枝方法。
研究在MNIST和CIFAR-10数据集上，对全连接网络和视觉Transformer进行了验证，覆盖0%到100%的完整剪枝范围，并使用五个随机种子。结果显示，在考虑的所有架构与数据集组合中，该方法在准确率和马修斯相关系数两项指标上，均优于按参数幅度剪枝和仅用局部Fisher信息剪枝。此外，对不同测地近似层级的分析还产生了计算高效、性能接近最优的中间剪枝方案。
这项工作的意义在于，它把剪枝从经验性启发式提升到几何视角下的可解释框架，为模型压缩提供了新的理论工具。对需要在边缘设备或算力受限场景部署大模型的团队而言，这种兼顾精度与效率的剪枝思路具有直接参考价值。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*