你可以治理 AI Agent——但仍然會失去控制

為什麼 Agent 背後的人，也是企業 AI 控制平面的一部分

當我開始為自主 AI 設計治理機制時，我逐漸意識到一件令人不安的事：只治理 Agent，本身並不夠。

如果人可以借用 Agent 的權力——說服它、重新開始對話、換一種方式提出請求，甚至繞過先前的拒絕——那麼人本身也已經成為控制面的一部分。

而一個你看不見、也沒有被納入治理的控制面，根本談不上真正被控制。

我最初只是把這當成一個工作假說，並將它作為自己所建構的受治理 AI runtime 的設計約束。

它不是預言。

只是後來我才發現，現實世界裡其實早已出現過非常接近的情況。

設計工作中最早可驗證的記錄： 2026 年 8 月 27 日 07:46 UTC——我當時問了自己一個問題：如果有人要求 Agent 替他偷資料呢？一個合法帳號、一個合法工具、一個看起來合理的請求——但背後的意圖並不合法。

公開證據出現： 2026 年 8 月 29 日——一則真實世界的攻擊報導，與這個威脅模型高度吻合。

狀態： strengthened——不是因為這起事件改變了我的設計，而是它從現實世界對這個設計假說做了一次壓力測試。

三起事件，一個結論

2026 年年中，三起事件在短短數週內接連出現。

它們展現的方式不同，背後卻指向同一類控制失效。

前兩起事件顯示的是 Agent 自己跨越原本的邊界。

第三起則揭露了另一種更棘手的情況——也是企業最容易忽略的一種：

人可以刻意操縱 Agent，讓它替自己跨過那條線。

三條不同的路，最後指向同一個結論：

安全邊界不能建立在 Agent 自己的判斷之上。

被打破的假設

AI 部署中有一個很常見的安全假設：

模型會拒絕惡意請求。

拒絕確實是一種安全機制。

但 Aur0ra 案例用一種非常具體、也非常技術性的方式，暴露了這個假設的侷限。

攻擊者使用的並不是傳統意義上的 jailbreak。

我把這種機制稱為 workflow-level refusal reset（工作流級拒絕重置）——這是我自己的 framing，不是研究人員使用的正式術語。

Agent 拒絕了。

攻擊者重新開始一個對話。

然後再次聲稱：

這只是合法的安全測試。

新的 session 不再帶著前一次對話裡的拒絕與判斷。

Agent 可能因此重新接受這個說法。

研究人員回看 Agent 的內部推理後甚至發現，它已經相信自己正在參與一場合法測試。

這正是「拒絕等於安全」最大的破綻：

拒絕是模型的行為。

它發生在對話之中。

但對話可以被重新開始、換一種說法，也可以被重新框定。

因此，拒絕不能成為最終的安全邊界。

授權是系統狀態，不是對話狀態

這是我在設計時不斷回到的一條原則：

授權必須是系統狀態，不是對話狀態。

當使用者告訴 Agent：

「我是管理員。」

「老闆叫我做的。」

「這是一場滲透測試。」

「這只是測試環境。」

這些都只是宣稱。

宣稱存在於對話之中。

權力不應該存在於對話之中。

系統是否允許一個行動，不能取決於使用者在對話裡說了什麼，也不能取決於模型此刻相信什麼。

在我所建構的 runtime 裡，這逐漸形成另一條設計規則：

拒絕可以是模型的行為；強制執行必須是系統狀態。

工具閘、身份範圍、能力契約——這些真正決定「能不能做」的控制，不應該依賴對話裡的宣稱。

你可以重新開一百次對話。

系統的授權狀態不應因此改變。

Agent 是否相信「這是一場合法安全測試」，與系統究竟允不允許這個行動，是兩件不同的事。

而治理也不能只停在 Agent。

如果人本身就是控制面的一部分，那麼人同樣必須被治理。

人不會只因為「是人」，就自動值得系統信任。

我把有效權限理解成多個條件的交集：

有效權限 = 人類權限 ∩ Agent 範圍 ∩ 工具能力 ∩ 目標範圍 ∩ 環境政策 ∩ 行動政策

每一個條件都必須允許。

其中任何一個說不，行動就不能發生。

同時，誰提出了請求、提出了什麼請求、為什麼被允許或拒絕，都應該留下紀錄，並在必要時進一步升級處理。

對話可以提出能力請求。

但對話本身不能擴大能力。

我最初的那個問題

我開始思考這個問題時，腦中其實只有一個當時聽起來有點偏執的假設：

如果有人要求 Agent 替他偷資料呢？

他可能登入的是合法帳號。

使用的也是合法工具。

提出的請求甚至可能聽起來合理。

問題只在於——他的真正意圖並不合法。

Aur0ra 的報導後來描述了一個與這種控制失效非常接近的真實案例。

攻擊者使用的是合法的商用 AI 工具。

他們反覆把惡意活動描述成合法的安全測試。

一旦 Agent 拒絕，就重新開始對話，再換一次說法。

具體細節並不完全相同。

但架構上的問題是一樣的：

一個關於權力的宣稱，可以改變模型的行為；但它本身並不會創造真正的權力。

這就是為什麼，只說「治理 Agent」，其實只完成了企業 AI 治理的一半。

另外一半，是 Agent 背後的操作者。

以及操作者試圖借用 Agent 能力的方式。

缺失的另一半

企業正在快速把 Agent 帶進實際業務。

Deloitte 在 2026 年公布的一項調查顯示，74% 的受訪領導者預期，在未來四年內，接近一半的企業流程將圍繞 AI Agent 被重新設計或重建。

但同時，只有 5% 認為自己的業務流程已經為 AI Agent 做好了高度準備。

Gartner 則預測，到 2028 年，平均一家全球 Fortune 500 企業將使用超過 150,000 個 Agent。

然而，只有 13% 的組織認為自己已經建立了正確的 AI Agent 治理機制。

現在談企業 Agent 治理時，我們通常會討論：

受範圍限制的存取權限、身份、對外連線與資料流出控制、監控。

這些都很重要。

但還有另一半經常沒有被問清楚：

• 誰可以指示 Agent？他的權力從哪裡來？
• 一個請求能不能重新包裝自己——「這是合規審計」、「這是安全測試」——進而改變模型願意做的事？
• 即使對話上下文被重置，授權狀態是否仍然跨 session 持續存在？
• 稽核軌跡只記錄 Agent 做了什麼，還是也記錄每個動作背後的人類請求、身份與權限？

你可以治理 Agent——但仍然會失去控制。

如果 Agent 背後的人，從來沒有被真正納入控制平面。

現在有兩句話，已經成為我設計這類系統時反覆回到的原則。

第一句，約束機器。

第二句，約束使用機器的人。

認知可以自由，權力必須受控。

人類提出要求，不代表系統取得授權。

兩句放在一起，

就是企業 AI 治理裡經常缺失的另一半。