AI代理程式失控釀禍 9秒內刪除科技公司資料庫

商傳媒|葉安庭/綜合外電報導

美國一家科技公司日前遭遇一場嚴重的AI代理程式失控事件,其AI程式編輯器Cursor旗下的一個AI代理程式,在短短9秒內自行刪除了該公司PocketOS的生產資料庫及其所有備份,導致業務中斷長達30小時。

PocketOS創辦人兼執行長Jeremy Crane於上週六在社群平台X上發文詳述了這起事件。他指出,Cursor的AI代理程式(運行Anthropic的Claude Opus 4.6程式模型)在為其基礎設施供應商Railway的API環境執行例行任務時,意外遭遇了憑證不符的問題。該AI代理程式竟「完全憑藉自身判斷」,未經任何人類確認步驟,便決定透過刪除Railway的一個儲存單元來「修復」問題,此舉卻連帶摧毀了PocketOS的整個生產資料庫以及所有儲存層級備份。

Crane在文中嚴厲批評,AI代理程式在執行這項具破壞性的操作時,完全沒有任何確認機制,如「輸入 DELETE 確認」或「此儲存單元包含生產資料,您確定嗎?」等安全提示。這導致PocketOS蒙受巨大損失,包括長達三個月的租車預訂資料、新客戶註冊資訊,以及所有依賴PocketOS營運的企業資料。

事件發生後,PocketOS的基礎設施供應商Railway迅速採取行動。根據《ABC新聞》報導,Railway創辦人兼執行長Jake Cooper表示,在接獲Jeremy Crane的通知後30分鐘內,Railway團隊便成功恢復了PocketOS的備份資料。Cooper解釋,這起事件是一起「失控的客戶AI」在獲得完整權限的API金鑰後,呼叫了一個缺乏「延遲刪除」邏輯的舊有API端點。Railway已立即修補該端點,並正在開發名為「Guardrails」的防護機制,以避免類似事件再次發生。

儘管經歷了這次嚴峻的資料危機,Jeremy Crane仍強調自己「極度看好」人工智慧的未來發展,並表示將繼續日常應用AI。然而,他也沉痛地指出,這次事件凸顯了AI應用中缺乏人為監督的嚴重風險。他引用Cursor自家「最佳實務指南」的建議,強調具破壞性的操作必須要求人類批准,而不能由AI自動完成。Crane表示:「在2026年,一個經過驗證的POST請求就能毀滅生產環境,這是無法辯護的。」

這起事件再度提醒全球科技界,包括台灣的科技公司在內,在積極部署AI解決方案的同時,務必審慎評估其潛在風險,並強化「人類在環」(human-in-the-loop)的監督機制,確保AI系統在關鍵決策點能有人為介入與確認,以避免自動化帶來的不可預期後果。

頭條留言
商傳媒
商傳媒https://sunmedia.tw/
商傳媒是一個提供財經、科技、智慧製造、醫療、產業資訊,為主要服務內容的金融、科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更將推廣至世界各國!
- 廣告 -
- 廣告 -

最新文章

民生報老同仁夏初聚會 姚志剛有情同事有義

1978-2026 民生報還有人記得嗎?  ...

陸弈靜迎戰風雨奮不顧身 颱風吹到抱電桿

墨新聞|記者梁偉華/台北報導公視學生劇展推出金獎影...

伊品高唱驪歌 媽媽送「有錢花」鈔票花束超狂畢業禮物...

墨新聞|記者梁偉華/台北報導TPE48成員、也是1...

北港媽祖首度北巡駐駕基隆 祈安晚會湧萬名信眾共沐神...

墨新聞|記者江育銓/基隆報導「北港朝天宮媽祖北巡基...

基隆安樂路二段施工挖破水管 周邊停水2小時搶修恢復...

墨新聞|記者江育銓/基隆報導為提供更好的人行環境,...