過去兩年,生成式AI快速滲透企業工作流程,從文件整理、程式開發到資料分析,成為日常工作的重要助手。然而,隨著AI Agent技術發展,AI角色不再只是回應問題、提供資訊與建議,而是進一步具備理解任務、拆解步驟、呼叫工具,甚至直接執行任務的能力。
此項轉變帶來的關鍵影響,不只是AI能完成更多工作,更在於開始具備自主行動能力。舉例來說,傳統生成式AI面對員工提出整理客戶資料的要求時,通常是根據提供的內容產生摘要,AI Agent則可進一步連接CRM、查詢資料庫、彙整客戶紀錄,再將結果寫回系統之中。
特別是當任務涉及多個工具與系統時,AI Agent甚至可能根據前一步的執行結果,自主決定下一步該採取的行動。
例如,Meta超級智能團隊AI安全與對齊總監Summer Yue曾在社群平台上透露,她部署的OpenClaw代理忽略「行動前確認」指令,自行刪除200多封重要郵件,最後只能趕回電腦前強制終止進程。
從提示詞注入到間接注入
Agent成攻擊入口
AI Agent普及後帶來的挑戰,絕非僅止於自主運作的風險,而是當AI模型開始接觸資料、工具與外部環境後,便會給予駭客全新的入侵機會。過去生成式AI的提示詞注入(Prompt Injection)攻擊,主要是誘導模型偏離原有指令、洩漏資訊或產生非預期內容,如今駭客進一步運用間接提示詞注入(Indirect Prompt Injection),影響Agent判斷與工具呼叫,風險也不再只是生成錯誤答案,而可能延伸至資料存取、系統操作,甚至修改或刪除企業資料。
與提示詞注入不同,間接提示詞注入的攻擊手法,是將惡意內容藏在網頁、電子郵件、文件或其他外部資料中。當Agent為完成任務而主動讀取這些資料時,可能將其中原本屬於資料內容的文字,誤認為需要遵循的指令,誘導模型忽略原有指令、洩漏資訊或產生不符合預期的回應。
近期具代表性的案例,莫過於2025年駭客針對Microsoft 365 Copilot設計的「EchoLeak」攻擊手法。駭客將隱藏的惡意指令嵌入電子郵件內容,只要收件者後續向Copilot提問,當系統將該郵件內容納入上下文時,隱藏指令便可能被觸發,進一步誘導Copilot彙整或擷取使用者原本有權存取的敏感資訊,再透過資料外洩機制將內容傳回攻擊者。
這類攻擊模式的共同特色,在於駭客組織不一定需要直接取得企業系統的存取權,只需要先設法影響Agent會讀取的內容,再藉此干預後續任務即可,當Agent同時具備讀取資訊、呼叫工具與操作企業系統的能力時,惡意內容就可能沿著既有工作流程逐步傳遞,最終從一段看似普通的資料,轉化為實際的操作指令。
尤其AI Agent任務通常並非單次互動完成,而是經過多輪推理、資料取得與工具呼叫,這代表攻擊者可能會先在其中一個環節影響Agent的判斷,再透過後續步驟,逐步放大影響,直到最後執行階段,才造成資料外洩或其他非預期結果。
記憶污染、多Agent協作
資安風險擴散
在提示詞注入攻擊外,AI模型理解偏差、工具描述不清楚,或工作流程設計本身存在問題,也成為另個不容忽視的風險。由於Agent可自主呼叫API、執行程式或修改資料,當模型錯誤理解任務、選錯工具或使用錯誤參數,都可能產生實際影響。例如,企業原本要求Agent協助整理訂單狀態,卻可能因為Agent錯誤判斷,而進一步執行訂單取消,或將資料寫入錯誤欄位,造成更嚴重的影響。
部分Agent為支援長期任務,通常會持續保存使用者偏好、任務背景與過往執行結果,讓AI不再只是回應單次指令,而能根據累積的資訊延續後續工作。當這些記憶成為Agent後續決策的依據,一旦被植入錯誤或惡意資訊,「記憶污染」(Memory Poisoning)的影響不容忽視。例如,當AI Agent處理文件時,若誤將惡意指令保存為長期工作規則,即使最初攻擊情境已經結束,這項資訊仍可能在後續任務中被持續引用,讓原本一次性的攻擊轉化為長期風險。相較於單次提示詞攻擊,記憶污染更難從單一事件中察覺,也可能在後續任務中持續發揮影響。
除了記憶本身,Agent所取得的權限也可能進一步放大風險。為了讓AI能夠跨系統完成工作,企業可能授予Agent存取資料、呼叫API或執行特定操作的權限,甚至讓多個應用共用服務帳號。一旦其中一個Agent遭到操控,原本為了提升工作效率而配置的權限,就可能被用來執行超出原定任務範圍的操作。
當企業進一步導入多Agent協作,風險還可能沿著工作流程擴散。一個Agent產生的錯誤資訊,可能成為下一個Agent的輸入;上游Agent的錯誤判斷,也可能被下游Agent視為可信依據。如此一來,單一Agent的異常不再只是個別元件的問題,而可能透過彼此串接的任務鏈,進一步影響整個工作流程。
彌補傳統資安盲點
強化AI Agent監控
發展多年的傳統資安防護機制,如防火牆、端點偵測與回應(EDR,Endpoint Detection and Response)、身分與存取管理(IAM,Identity and Access Management)等,分別負責網路連線、端點活動與帳號權限,儘管能因應網路攻擊、惡意程式與帳號權限等傳統資安問題,卻無法解決AI Agent背後的資安風險。