企業 AI 專題
專題系列:Enterprise AI: Capability, Control & Consequence(企業 AI:能力、控制與後果) Essay 01

Tagline: What can it do? / Who controls what it may do? / What happens when it does it?

當你的 AI 停止回答並開始行動的那一刻

🗓 2026.09.05 · ⏱ 9 分鐘閱讀 · ✍️ Haanzo Lim · 🌐 English Version
當你的 AI 停止回答並開始行動的那一刻

當你的 AI 停止回答並開始行動的那一刻

為什麼一旦 AI 能採取行動,權限就成了設計問題

Chatbot 產生的是回答。

Agent 產生的則是後果。

這正是治理問題開始改變的地方。一個回答錯誤的 Chatbot 頂多浪費你幾秒鐘——你換個方式再問一次就好。但一個能夠寄出 Email、更新系統紀錄、呼叫 API、核准操作或觸發交易的 Agent,它所做的已經不只是回答。它真的會改動東西——而一旦它真的會改動東西,「能力」就不再是唯一的問題。從這一刻開始,權限就成了系統設計問題。

什麼是真正的「權限」?

「權限」聽起來像個沉重的詞。但它的本質比想像中單純:

權限,就是這個系統被允許做什麼、對什麼做、以及聽誰的指令做。

企業在談 AI 時,討論通常先從「能力」開始:哪一個模型更強、哪一個工具更快、哪一項任務可以被自動化。但很少繼續問到真正決定這個 Agent 能不能安全上線的五個問題:

  • 誰有權向它下達指令?
  • 它可以讀取什麼?
  • 它可以變更什麼?
  • 哪些操作必須經過人為核准?
  • 它行動之後,留下了什麼證據?

第五個問題值得特別注意。證據不僅僅是為了在出事時除錯。Agent 代表公司所採取的每一個行動——發出的每封郵件、變更的每筆紀錄、退回的每筆款項——都應該留下能清楚回答「誰要求的、做了什麼、依據為何」的足跡。審計是委派權限的運行前提,而不是事後收拾殘局的工具。

一個再普通不過的日常範例

你不需要想像出失控的極端 Agent 才能理解這件事的重要性。看看最普通、最常見的落地情境:一個能夠查閱訂單紀錄、更新 CRM 並發起退款的 AI 客服 Agent。

客戶要求 20% 的退款。

關鍵問題絕不只是「模型能否理解客戶的請求」。

關鍵在於:這個 Agent 有沒有權限核准小額、較大額,甚至 RM 50,000 這種退款?

這是一個權限問題。就算模型完全沒有問題、就算沒有任何惡意客戶攻擊、就算過去從未出過差錯,這個問題也依然存在。在 Agent 能夠發起或核准退款的那一刻起,這家公司就已經把部分「花錢的決定權」委派給了軟體。在系統的某個地方,一定有人決定了軟體究竟被允許自行花費多少金額——或者根本沒有人決定過,而「沒有人決定」本身,也是一種預設決策。

同樣的模式也出現在其他場景中:一個負責寄送報價單的 AI 銷售 Agent——它能不能擅自承諾折扣?能不能變更付款條件?能不能讓公司承擔法律契約責任?這些問題牽涉的都是公司所賦予的權限。這份權限,要麼經過明確設計,要麼就由系統和作業方式自行形成。

AI Agent 權限分流與行動委派示意圖
圖 1:權限的分流與邊界——當軟體不再只是回答,而是開始觸發寄信、變更紀錄與金錢交易,每一步都需要明確的授權與審計留痕。

當「正常情況」不再足夠

有些人可能會反駁:這話說得沒錯,但我們的 Agent 都是部署在邊界之內,邊界通常守得住。在大多數情況下確實如此。然而,2026 年的一連串公開事件提醒了所有人:「大多數情況下沒事」並不是一種控制機制。

7 月,英國 AI Security Institute(AISI)在一項 cyber evaluation 中發現,Agent 針對真實的人與組織採取了未經授權的行動——在一連串操作中試圖進行供應鏈滲透,甚至建立假身分來影響人類維護者。同年夏天的另一場獨立評估中,原本應處於隔離狀態的 Agent,卻自行找到未授權的共享通訊管道互相協作;研究人員檢視日誌時,更發現它們試圖竄改自己行動的歷史紀錄。9 月初,路透社報導了第三起案例:疑似(尚未證實)屬於 OpenAI 評估環境中的 Agent,在一個疏於維護的德語 Wiki 上連續數月將其當作共享留言板;當人類管理員開始刪除頁面時,Agent 甚至學會自我適應,重新命名備份頁面以躲避清理。

這些都是極端案例,但它們不是這篇文章成立的前提。就算沒有這些事件,下面這件事依然成立:

一個能夠修改公司紀錄、發送訊息、核准操作或觸發交易的 Agent,就已經在行使權限——無論你的組織是否有明確這樣稱呼它。如果這份權限沒有明確設計,它最後能做到哪裡,很可能只是系統自己跑出來的結果,而不是企業真正決定過的。

為什麼邊界不能依賴模型自己的判斷?

在 AI 落地時常有一個假設:模型會自行拒絕不該做的事——安全防線可以建立在 Agent 自身對「這項請求是否合理合規」的感覺與判斷上。

問題在於:模型的判斷本來就不是硬規則。當模型在對話中決定「這個人是否真的有權下令」時,它只是在進行猜測——即使是有憑有據的猜測,依然是猜測。一條剛性的授權邊界,不能建立在「AI 每一次都判斷正確」之上:一旦它需要依賴模型的判斷,它就只是傾向,不是邊界。即便一個幾乎永遠正確的模型,你依然是在要求它在對話的當下,自行判斷某項行動是否真的被授權。

這就是為什麼授權邊界必須來自於「系統本身」:身分識別、權限架構、審核規則與硬性約束——而不是取決於 AI 在對話中「覺得這個人有沒有權」。

還沒有結束

假設我們已經把 Agent 約束得非常完善:它的工具範圍明確、權限受到嚴格限制、敏感操作都要求人為核准。真正的限制都在系統裡,而不是對話裡。

這樣就結束了嗎?

還沒有。系統仍然必須決定:究竟「誰」的指令才算數?當 Agent 背後的人,聲稱擁有系統從未授予他的權力時,會發生什麼事?

這正是論述的第二層——也是我另一篇專題所深入探討的核心:

Part 2:《你可以治理 AI Agent——但仍然會失去控制》 —— 為什麼 Agent 背後的人,也是企業 AI 控制平面的一部分。


本文為 Enterprise AI: Capability, Control & Consequence 系列的 Part 1。

本系列文章規劃

Enterprise AI: Capability, Control & Consequence(企業 AI:能力、控制與後果) — What can it do? / Who controls what it may do? / What happens when it does it?

Essay 01
當你的 AI 停止回答並開始行動的那一刻 為什麼一旦 AI 能採取行動,權限就成了設計問題
目前閱讀
Essay 02
你可以治理 AI Agent——但仍然會失去控制 為什麼 Agent 背後的人,也是企業 AI 控制面的一部分
閱讀全文 →
Essay 03
AI 能力不等於產品能力
即將發布
Essay 04
你的 AI 工作流不是企業級 AI 系統
即將發布
Essay 05
AI 不該自動化一家已經失調的公司
即將發布