產品應用
Google 地球上線 Nano Banana 2 影像生成功能,因遭濫用捏造災難場景於一日內緊急下架
愛範兒綜合 2 家報導多家報導
尚未逐項核實
多個報導來源提及此事;未必是彼此獨立的證據。
Google 地球網頁版於 7 月 30 日推出「Create image」功能,接入「Nano Banana 2」模型,允許用戶框選地球上任意地點的實景影像,並輸入提示詞進行二次創作。
功能對外開放後,隨即湧現大量濫用情況,用戶利用該工具生成「9·11 事件」場景重現、哥斯拉入侵城市及外星生物降臨等虛假圖像。Google 隨後於一日內緊急回滾該功能。
Google 官方回應表示,因觀測到大量外流的生成截圖涉嫌違反社群政策,決定先下線入口並補上安全防護,待條件成熟後再評估是否重新開放。官方同時建議用戶可透過 Gemini 來甄別可疑圖像。
報導指出,相同的敏感生成請求在獨立的 Nano Banana 模型中會被拒絕,但在 Google 地球介面中卻能順利生成,顯示 Google 內部對模型能力調度的安全規則並未對齊。
近期科技大廠頻繁發生類似的 AI 影像爭議:Google Pixel 9 內建的 Reimagine 功能曾被測試出能在真實河流照片中生成逼真的失控直升機;Meta 於 7 月上旬推出的 Muse Image 功能,因未經通知預設調用公開 Instagram 帳號照片作為生圖參考,上線僅三天即遭緊急撤回。
讀原始報導背景
Google 地球近期接入的「Nano Banana 2」模型,與 Google DeepMind 開發的多模態大型語言模型家族相關。該模型家族作為 LaMDA 和 PaLM 2 的繼任者,於 2023 年 12 月發布,包含 Gemini Pro 與 Gemini Flash 等多個版本。
來源
- 中央社 財經cna.com.tw
- en.wikipedia.org