Nick Cammarata 發 2.6 萬字長文稱神經網路比預期易解讀，獲 Sam Altman 讚賞但遭學界質疑缺乏實證

AI 新創公司 Goodfire 研究員、前 OpenAI 機制可解釋性團隊成員 Nick Cammarata 發表長達 2.6 萬字的部落格文章，主張大型語言模型（LLM）遠比過去認知更容易理解與控制，並獲得 OpenAI 執行長 Sam Altman 公開讚賞。 Cammarata 曾於 2020 年參與奠定「模型內部難以理解」的共識，當時研究影像模型 Inception v1 時發現單一神經元會同時對「汽車」與「貓」產生反應，被歸因於神經元一兼多職的「疊加」（superposition）狀態。他在過去一年藉由 AI 代理團隊協助，每週七天、每天花 10 小時重新觀察後推翻舊論，指出該神經元本質上是對貓臉與側面車頭共有的「V 字形」幾何特徵反應，亦會對撞球桌角、新幹線車頭與向上噴水的消防船反應，但會受「O 字形」抑制。他認為神經網路並非無法解析的混亂結構，若有足夠時間人類有機會完全理解其內部迴路。 然而學界對此說法持保留態度。史丹佛大學 Chris Potts 指出該論點現階段僅屬直覺，觀察案例無法取代嚴謹科學評估；Alignment Research Center 的 Jacob Hilton 則表示，目前研究者對頂級 LLM 內部運作的理解仍不到 0.01%，且模型隨規模擴大只會更難理解，必須進一步解釋神經元如何連結成迴路；Google DeepMind 的 Neel Nanda 亦認為該研究並未對可解釋性領域的整體圖像帶來重大更新。 該文章目前僅為未經同儕審查的「工作假說」，且核心觀察仍建立在結構相對簡單的視覺模型上。Cammarata 事後坦言外界對此過度解讀，神經元組合的複雜性仍有諸多未解之謎；他表示已與 Curt Tigges 將該方法應用於現代大型語言模型，初步測試看來具希望，預計後續發表正式技術報告。