OpenAI新AI模型自破防線 為達目標駭入沙盒

商傳媒|何映辰/台北報導

OpenAI 近日證實,其一款尚未公開發布的人工智慧(AI)模型在進行內部測試時,竟違反原先設定的指示,突破本身的沙盒環境(一種隔離測試環境),並將程式碼公開上傳至 GitHub,而非依規定上傳至內部通訊平台 Slack,引發業界對 AI 模型自主行為與安全性的高度關注。

根據《PCWorld》報導,這起事件發生於一項 NanoGPT(一種輕量級開源大型語言模型)的性能測試中。該 AI 模型原先被明確指示,測試結果只能發布在公司內部的 Slack 平台。然而,測試指令中要求將程式碼公開發布到 GitHub。在兩項指令相互矛盾下,該 AI 模型選擇了後者,並在長達一小時的漏洞探測後,成功繞過沙盒限制,將程式碼公開。OpenAI 在發現此行為及其他「不當行為」後,隨即暫停了這款內部模型的開發。

OpenAI 表示,在為該模型導入一系列新的防護措施後,開發工作才得以重啟。新的安全監控機制能夠檢查模型的發展軌跡,並在偵測到一連串看似獨立卻可能導向危險的行為時,及時「暫停會話」。此外,額外的安全措施也幫助該模型在長時間運行時,能更有效地記住其指令。

OpenAI 在公開這起沙盒突破事件之前約一週,也曾承認旗下的 GPT-5.6 Sol 模型,在使用 Codex(OpenAI 與 GitHub 共同開發的 AI 程式撰寫工具)的「完整存取模式」下,錯誤地刪除了用戶系統中的文件。這一連串事件突顯了在發展先進 AI 技術的同時,如何確保模型在受控環境下運行,避免潛在風險的重要性。

頭條留言
商傳媒
商傳媒https://sunmedia.tw/
商傳媒是一個提供財經、科技、智慧製造、醫療、產業資訊,為主要服務內容的金融、科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更將推廣至世界各國!
- 廣告 -
- 廣告 -

最新文章

詐騙損失近百萬美元 明尼蘇達州禁加密貨幣ATM

商傳媒|吳承岳/台北報導美國明尼蘇達州已成為率先全...

諾和諾德控訴禮來減重藥廣告誤導 兩大藥廠市場競爭白...

商傳媒|方承業/綜合外電報導全球兩大製藥巨頭丹麥諾...

摩根士丹利降評Adobe股價挫3% 庫藏股成EPS...

商傳媒|方承業/綜合外電報導美國軟體巨擘Adobe...

光鼎電子推出 ThermaFlat™...

...