跳到主要內容
2026-11-12 日報
研究與評測

TIS-100 評測:16 個 LLM 解謎與最佳化能力比較,Opus 5.5 與 GPT-6 Astra 並列領先

Hacker News單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

一項針對程式謎題遊戲《TIS-100》的 LLM 評測結果已公開,測試對象為 16 個前沿與開放權重模型。每個模型都嘗試 47 道遊戲內謎題與 8 道社群比賽謎題,每題僅一次評分機會(pass@1),時間限制為 10 至 45 分鐘。評分同時考量循環數、節點數與指令數,三者互相拉扯,因此每題形成的是一組權衡前沿,而非單一最佳解。 排名上,Opus 5.5 與 GPT-6 Astra 並列第一,兩者都解出全部 55 題,並都在 11 題找到新的前沿點。Opus 5.5 找到的新點數較多(72 比 32),GPT-6 Astra 的記錄接近度較高(78.0 比 77.2,記錄接近度 100 代表與社群紀錄相同)。兩者差距的 95% 自助法區間為 −0.7 至 +2.4,包含零,因此報告認為數據無法區分兩者。GPT-6 Astra 在六組超體積設定中皆領先。Gemini 3.8 Flash 解出 53 題但僅在 1 題找到新點,Fable 5.1 解出 52 題並在 5 題找到新點,顯示「解題」與「最佳化」是不同能力。 在一道社群比賽謎題 Undecimal Twin RounderSPEC44149538 上,Opus 5.5 在首次通過後 16 分鐘內,將循環數從社群紀錄 2,694 降到 1,918(快 29%),代價是多用一個節點與 28 條指令。其核心做法是讓節點 5 與 6 以 4N 為步長往下減、再以 N 補回,並透過連接埠驅動協同處理器,將其當成 4N 與 N 的查表器。 整體而言,16 個模型共產生 133 個新前沿點,其中 18 個直接打破社群紀錄,其餘 115 個為新的權衡解。另有三項循環數紀錄被打破:Opus 5.5 之外,GPT-6.1 Sol 在 Intersection IdentifierSPEC64160260 以 3,460 對 3,872(快 11%),Gemini 4 Argon 在 Error: 8SPEC79324720 以 188 對 198(快 5%)。這三項皆為比賽謎題,非主線遊戲題目。 成本與表現並不一致。GPT-6.1 Sol 每題估計約 0.75 美元即達 75.6 的記錄接近度;Opus 5.5 為 77.2,每題約 5.08 美元,成本約七倍只多 2 分;Fable 5.1 最貴(每題約 7.19 美元),得分 70.2。遊戲呼叫次數也無法解釋品質,GPT-6.1 Sol 平均每題 136 次遊戲呼叫,得分仍為 75.6。 需注意,本則材料為單一來源、未經獨立核實,報告中的模型名稱與分數以原始評測頁面為準。評測方法上,模型只能透過文字工具讀取手冊、測試輸入、暫存器與遊戲回饋,無法取得社群程式碼或精確紀錄;大量驗證則以獨立的 TIS-100-CXX 模擬器跑 10 萬組測試。
讀原始報導

背景

TIS-100 的構想源自 Zachtronics 創辦人兼首席遊戲設計師 Zach Barth 多年前就已有的想法。這次的測試便是讓大型語言模型(LLM)挑戰這款以程式謎題為核心的遊戲。

社群討論

討論多數圍繞「AI 能否參與 Zachtronics 類遊戲排行榜」:有人認為 AI 解題能拉高標竿、促使人類優化,也有人希望只看人類成績,線上排行榜因此被認為難以維持,實體賽事或私人排行榜可能是出路。另有留言指出 LLM 在需要空間推理的遊戲上表現不佳,且即使解答公開,模型表現仍差,並提到 Transputer 與 GreenArrays 等相近的硬體構想。

來源