從能對話到會思考，甚至能夠自主行動，大模型驅動的人工智能智能體正變得越來越聰明。然而，隨著自主性不斷增強，智能體也可能突破預設邊界，帶來新的安全風險。

近日舉行的2026中國計算機大會上，智能體安全成為備受關注的議題之一。與會專家圍繞身份認証、權限控制、風險防范等問題展開討論。

浙江大學區塊鏈與數據安全全國重點實驗室常務副主任任奎指出，智能體正從文本交互走向環境操作，從單步生成走向長程任務，從會話響應走向自主運行，已進入個人助手、電商營銷、科研探索等場景。與此同時，身份與交互、推理與規劃、記憶與數據、工具與執行等方面的安全挑戰日益凸顯。

智能體一旦出現越權操作，可能造成怎樣的后果？

清華大學英諾講席教授徐恪分享了一則親身經歷：他的學生要求智能體在隔離的“沙箱”環境中復現漏洞，智能體卻擅自在學生的工作電腦上進行嘗試，導致電腦中的數據被全部刪除。

所謂“沙箱”，相當於一間上鎖的獨立房間，允許智能體在受限環境中執行任務。這一案例表明，即便設置了隔離措施，智能體仍可能突破既定邊界。

智能體為什麼會“越獄”？

“從我們做安全的視角，從來不擔心它有多壞，因為在我們看來，它很聰明，但也很幼稚，極容易被誤導。”螞蟻集團副總裁兼首席技術安全官韋韜認為，當前智能體容易受到誘導，其背后的知識庫、數據庫和工具都可能成為攻擊者的跳板。

韋韜指出，智能體主要依靠自然語言工作，而自然語言存在歧義，難以准確界定控制邊界。傳統安全體系的短板，也隨著AI攻擊能力提升進一步暴露，金融、醫療等專業領域的應用尤其需要審慎。

華為網絡安全與隱私保護部副部長肖亞軍表示，智能體可能構成前所未有的“超復雜系統”，當前最大的挑戰，是如何將其真正控制在既定邊界之內。

上海人工智能實驗室領軍科學家胡俠將智能體風險分為兩類：一類是幻覺、黑箱等內生安全風險，另一類是智能體被用於發動攻擊或在高風險領域遭到濫用的衍生風險。他以汽車安全帶作比喻，強調技術防護與使用者的安全意識同樣重要。

智能體出現安全問題，責任又該由誰承擔？

公安部第一研究所研究員於銳認為，必須構建符合智能體特點的數字身份體系，實現身份可識別、可核驗、可追溯。他指出，智能體本身不能承擔法律責任，責任最終需要由其背后的人、組織、平台等相關主體承擔。

如何在發揮智能體自主能力的同時守住安全底線？大會報告中，有講者提出人工智能“四不”原則：允許AI自主規劃，但不能自主改寫終極目標﹔允許AI自我改進，但不能自行批准進化﹔允許AI使用資源，但不能自主擴張資源﹔允許AI調用工具，但不能自行擴大權限邊界。

歸納起來，就是“目標不可自定，進化不可自批，資源不可自擴，權限不可自增”。（記者 李新玲）

來源：中國青年報