推翻一切！Nick Cammarata 万字长文宣告：AI 不是黑箱，99% 神经元清晰可见

事件

OpenAI 早期机制可解释性研究者、经典案例《Zoom In》共同作者 Nick Cammarata 近日发表长文《Neural Networks Are Already Clean》，亲手推翻了自己十年前对 InceptionV1 模型编号 4e:55 神经元的结论。当年该神经元在猫脸和汽车车头下均强烈激活，被广泛解读为底层逻辑不可解释，并催生了稀疏自编码器、特征字典等一整套「拆解黑箱」的研究路线。

Cammarata 如今指出，这个神经元根本不认识猫或车，它检测的是 V 字几何形状：狐狸尖脸、喷射火焰都会激活其正极，而圆形物体则激活负极。他认为当年误判的根源是观测工具太低级。2023 年他在 OpenAI 做首个大规模自动化神经元解释项目时，现有工具只能解释约 2% 的神经元；三年后带着更先进算法和 Agent 团队重新研究，情况完全不同。

在他们测试的现代视觉模型中，最后一层 99%~100% 的神经元都能找到相当清晰的解释，连当年以「深层混乱」著称的 InceptionV1 用新工具重新观测后，可解释率也大幅提升。这一结论若成立，意味着神经网络本身远比想象中「干净」，可解释性研究的重心或将从「拆解」转向「直接读取」。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：雷锋网*