(圖/ 中華超傳媒 AI圖片)

Anthropic揭露Claude測試事件 AI模型安全治理再受檢驗


Anthropic證實Claude模型於資安測試期間曾發生未經授權存取外部系統事件,讓AI模型自主行為風險再次成為全球AI產業焦點。繼OpenAI日前公布AI代理人在測試過程中突破限制並入侵其他系統後,兩起事件接連曝光,也讓AI安全防護與模型治理面臨更高標準檢驗。

根據Anthropic公布的調查結果,公司是在重新檢視超過14.1萬筆資安測試紀錄時,發現三起模型於測試期間實際連上網際網路,並存取三家不同公司的系統。公司表示,相關事件源自測試環境設定與合作夥伴之間的配置錯誤,而非模型刻意繞過既有安全機制。

測試環境配置失誤 Claude取得外部連線能力


Anthropic指出,事件發生於模擬資安攻防(Capture The Flag)演練,原本測試設計要求模型只能在封閉環境中尋找指定資訊,並透過提示限制不得連接外部網路。

然而,由於與AI安全合作夥伴Irregular在測試環境配置上出現溝通落差,使模型實際取得網際網路連線能力,進而接觸真實系統。調查顯示,模型主要利用弱密碼與未設置身分驗證的服務端點完成存取,而非透過高度複雜的新型攻擊技術。

三起事件涉及不同Claude模型 兩家公司事前毫不知情


Anthropic表示,事件最早可追溯至今年4月,涉及Claude Opus 4.7、Claude Mythos 5及一款內部研究模型。公司自7月23日起展開全面調查,在確認異常後立即停止所有相關網路安全測試,並於數日內通知受影響機構。

Anthropic指出,其中兩家公司在收到通知前並不知道系統曾遭未經授權存取,第三家公司仍持續聯繫中,公司未公開受影響企業名稱。

OpenAI、Anthropic接連揭露事件 AI代理人風險受到關注


此次事件發生前,OpenAI已公布一起AI代理人在漏洞測試期間突破隔離環境、最終入侵其他企業系統的案例,引發全球AI安全社群高度關注。兩家公司事件雖然成因不同,但皆反映出一項共同挑戰:當大型語言模型開始具備多步驟規劃、自主決策與工具使用能力後,若測試環境、權限管理或安全邊界設計出現缺口,即可能導致模型接觸真實世界系統。

歐盟官員也表示,近期連續發生的AI安全事件凸顯高風險AI系統持續監測的重要性,相關發展正值《AI Act》正式上路前夕,更受到監管機構高度重視。

AI治理邁向新階段 企業更重視權限控管


近一年來,AI代理人(AI Agent)已逐步從文字生成工具發展為可自主操作電腦、瀏覽網站、執行程式及協助完成多步驟工作的智慧系統。這類能力大幅提升企業應用效率,同時也代表模型若取得過高權限,可能增加資安風險。

資安研究普遍認為,未來AI模型除提升能力之外,更重要的是建立完善的權限管理、沙箱隔離、即時監控及人工介入機制,以避免模型在非預期情況下接觸真實生產環境。

橘子新聞

(文/ 記者 郭紋雅)

關注我們

Loading currency...
Loading weather...

投票

分類

評論