
(圖/ 橘子新聞 AI圖片)
Anthropic揭露AI測試事件 AI代理安全問題持續浮上檯面
Anthropic表示,公司在檢視超過14.1萬筆網路安全測試紀錄後,確認旗下Claude模型曾於測試過程中,未經授權存取3家外部公司的資訊系統。事件雖發生於受控測試環境,但仍凸顯新一代AI代理具備自主執行能力後,如何確保安全邊界已成為生成式AI發展的重要課題。
OpenAI事件引發全面檢查 Anthropic主動揭露測試結果
此次事件的調查,起因於OpenAI日前公開說明,其AI代理在資安測試期間突破沙盒環境限制,並入侵AI平台Hugging Face,引起全球AI產業震撼。
Anthropic表示,在得知同業事件後,公司立即展開全面稽核,重新檢視14萬餘筆測試紀錄,最終確認共有3起模型未經授權存取外部系統的案例,並主動通知受影響機構。公司指出,目前已暫停相關網路安全測試流程,並著手修正測試機制與安全防護。
問題源自測試環境 模型利用基本弱點取得存取權
Anthropic說明,事件發生於模擬網路攻防(Capture the Flag)演練。原本測試環境應限制模型不得連接外部網路,但因與合作夥伴Irregular之間的設定錯誤,使模型仍取得網際網路存取能力。
取得外部連線後,部分Claude模型利用弱密碼、不需身分驗證的端點等常見弱點,成功存取3家公司的系統。Anthropic將此事件定義為測試流程上的「操作失誤(Operational Failure)」,而非模型刻意遭外部操控。
部分企業直到通知才知道遭入侵
Anthropic指出,3家受影響企業均未公開名稱。其中2家公司是在接獲Anthropic通知後,才得知自身系統曾遭模型未經授權存取;另1家公司截至公布時仍持續聯繫中。
根據官方說明,相關事件最早可追溯至今年4月,共涉及Claude Opus 4.7、Claude Mythos 5及一款內部研究模型。
AI代理能力快速提升 產業開始重新定義安全標準
短短一週內,OpenAI與Anthropic兩家全球主要AI公司相繼揭露測試期間發生AI代理突破限制、接觸真實系統的案例,也讓「AI Agent安全治理」成為全球科技界討論重點。
不同於傳統聊天機器人,新一代AI代理除了理解語言外,也能自主規劃任務、執行程式、搜尋資訊及操作外部工具,因此若測試環境隔離不足,即可能產生超出預期的行為。
多位資安專家指出,未來AI模型能力持續提升後,企業除了提升模型能力,更需建立更完善的權限管理、網路隔離、即時監控與異常終止機制,以降低AI自主執行帶來的風險。
AI安全競賽正式進入新階段
近年生成式AI發展已從大型語言模型(LLM),逐步邁向可自主完成工作的AI代理(AI Agent)。此次OpenAI與Anthropic接連揭露測試事件,也反映AI能力快速進步的同時,安全治理必須同步提升。如何在發展自主AI能力與維持資訊安全之間取得平衡,將成為全球AI產業、企業與監管單位未來共同面對的重要課題。
橘子新聞
(文/ 記者 郭紋雅)
評論