AI可解釋性迎突破？前OpenAI研究員稱神經網路本就清晰引發學界論戰

曾參與提出「疊加假說」（superposition hypothesis）的 Goodfire 研究員 Nick Cammarata 近日發表長文《Neural Networks Are Already Clean》，推翻自己過去的論點，主張大型 AI 模型的內部運作機制其實遠比學界先前認知的更容易理解。傳統的機械可解釋性（mechanistic interpretability）領域長期認為神經網路是一團難以解開的亂麻，單一神經元常出現對無關概念同時起反應的「多語意性」（polysemanticity），例如影像模型 InceptionV1 中曾發現會同時對「貓臉」與「車頭」反應的神經元；過去學界普遍認為這是模型在容量有限下將無關概念壓縮打包的「疊加」現象，並因此傾向訓練稀疏自編碼器（Sparse Autoencoders, SAE）等第二模型來輔助解析。 Cammarata 過去曾與 Chris Olah 共同發表提出疊加電路的論文《Zoom In》，並於 2023 年在 OpenAI 啟動自動化可解釋性專案（當時評估僅約 1.7% 的神經元可被理解）。然而他如今指出，過去的經典案例屬於過度誤讀，例如「貓車神經元」實質上只是個「V 形偵測器」，會被狐狸口鼻或火焰等尖銳形狀活化，遇到圓形則呈現負活化，純屬常規的泛化能力而非疊加現象。據社群討論與分析，該研究涵蓋了卷積視覺模型以及 Qwen3 32B、Qwen3.6-35B-A3B、Kimi K3 等大型語言模型，並透過互動式視覺化展示神經元結構。 這項論點隨即引發研究社群的分歧反應：OpenAI 研究員 Roon 稱此篇論文為歷史性時刻，認為這證明學界能直接透過神經元及其交互作用來理解模型；但 Google DeepMind 研究員 Neel Nanda 則呼籲應保持審慎，警告不應過度吹捧這項突破。