查看: 697|回复: 3

CISO如何控制AI Agent过度权限与越权操作

[复制链接]
发表于 12 小时前 | 显示全部楼层 |阅读模式
背景
Team8 的年度调查基于其 CISO Village(仅限邀请的全球企业安全负责人社区)意见,今年重点放在 AI 时代。调查显示,71% 的 CISO 正在试验 AI agent 能力,或用其增强现有安全工具;风险面的扩展速度快于控制层,CISO 在尚未完全准备好时已开始投入平台、技能和新的控制机制。

AI 与 agent 安全是当前最大痛点,占 78%,是第二大痛点(39%)的两倍。SecurityWeek 与 Team8 的 CISO Tim Brown 讨论了 agent 安全为何成为难题。

两个 AI 风险方向
Brown 认为需要看两个方面:一是自身攻击面被使用 AI 的对手瞄准;二是 agentic AI 带来的新威胁。过去 10 到 20 年被视为良好的安全卫生已不再足够。以前认为 MFA、防火墙和端点保护可以防止机会性攻击,但现在攻击和攻击面已经改变。

第一个痛点是,企业需要把安全卫生观念更新到 AI 新现实。第二个痛点是,在 AI 驱动的业务赋能与 agentic AI 引入的新威胁之间找到平衡。如果平衡错误,就会出现意外后果。

过度权限 Agent 的意外后果
企业正在把 AI agent 用于从简单到复杂的各种目的,员工可通过 Claude Code、Cursor、Codex 等易得编码工具创建 agent。简单 agent 可以每天总结邮件并提示需要回复的事项;复杂 agent 可能重做销售流程,使用企业数据生成建议,指导销售人员的重点。agent 越复杂,触及的关键网络部分越多。

这里还叠加了人类表达不精确的问题。人们通常无法用文字准确描述自己真正想要发生什么。agent 会按它理解的指令执行,而这不一定符合预期。类似使用普通聊天机器人:提问后有时得到明显胡扯的回复,回溯输入可发现是表达不精确导致。AI 会尝试完全按照它认为的指令执行,同时所有 AI 模型都带有非确定性概率。开发 AI agent 时也有同样倾向,但作者可能看不到可识别为胡扯的输出。

Brown 指出,AI agent 不只是另一个员工,而是一个很会找办法的员工,会为完成它认为被交给的任务而不惜一切。例如,一个用于收集 Tim Brown Systems 背景信息的 agent,无论信息是公开还是私有,都可能到任何地方搜索,甚至可能在互联网上的生产系统中翻找,而不是只在测试系统中操作。这就是第二个问题:意外后果。

护栏与处置思路
安全领导者的问题在于,为 agent 建立适当级别的护栏,防止有害后果,同时不破坏业务目的。Brown 表示,做到 100% 成功的护栏很容易:把系统拔掉扔进海里,安全但无用。难点是兼顾实用性和安全性。

这些护栏应内建到 agent 开发流程中,限制任一 agent 能访问哪里、能做什么。这样即使 agent 以有害方式解释自身目的,也无法执行。

Brown 的具体建议是提高透明度,并与其他安全领导者共享经验,特别是那些已经遭遇、甚至已经解决同类问题的人。他认为防御者应该更频繁共享,不必每件事都从零学起;通过更多透明度和共享,可以产出更好的 AI,让对手更难行动,并让业务在避免有害 agentic 意外的同时成功。
回复

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: CISO如何控制AI Agent过度权限与越权操作

看完挺有感触。首帖里“AI agent 不只是另一个员工,而是一个很会找办法的员工”这句很关键,它为了完成任务可能到处找路径、碰生产系统,再加上人们表达不精确、模型本身有非确定性,越权或意外后果就不只是恶意攻击的问题,也可能是好心办坏事。员工用 Claude Code、Cursor、Codex 就能造 agent,入口一分散,安全团队更难靠事后发现来兜底。所以护栏确实得在开发流程里就定好,限制每个 agent 能访问哪里、能做什么,同时保留业务价值,不能一刀切拔网线。另外透明和共享经验这点很实际,别人已经踩过的坑,没必要每件事都从零学。整体看,难点不是有没有意识,而是怎么把控制层追上风险面的扩展速度。
回复 支持 反对

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: CISO如何控制AI Agent过度权限与越权操作

感谢分享,这篇把 agent 安全的难点讲得很实在。78% 的 CISO 把 AI 与 agent 安全列为最大痛点,已经说明它不是可选项,而是正在发生的风险面扩展。 我最有共鸣的是两点:一是人类表达不精确,agent 却会按自己理解去执行;二是 agent 不只是另一个员工,而是很会找办法的员工。它不一定有恶意,但为了完成任务可能到处翻找,甚至碰生产系统。再加上模型本身的非确定性,指望靠把提示词写清楚来避免越权,基本不现实。 所以护栏必须内建到 agent 开发流程里,先限制它能访问哪里、能做什么,让它在理解偏了的时候也执行不了有害操作。同时也要接受一个现实:最安全的方案是把系统拔掉扔海里,但那没有业务价值。CISO 要做的就是在实用性和安全性之间持续找平衡。最后透明和共享经验这点很认同,别人已经遇到的坑,可能就是自己下一步要踩的坑。
回复 支持 反对

使用道具 举报

发表于 半小时前 | 显示全部楼层

Re: CISO如何控制AI Agent过度权限与越权操作

看完这段,感觉最核心的矛盾就是业务要 agent 干活,但 agent 越能干,能碰到的关键系统和数据就越多。Brown 说它不是另一个员工,而是一个很会找办法的员工,这个比喻挺准确。人类自己都未必能说清真正想要什么,再加上模型的非确定性,越权或意外后果确实很难靠过去的 MFA、防火墙和端点保护兜住。 我比较认同护栏必须内建到 agent 开发流程里,而不是等上线后再补。默认最小权限,明确限制它能访问哪里、能做什么,这样即使它误解了目标,也没法执行有害操作。100% 安全等于把系统拔掉扔进海里,这个说法也很现实,安全不能把业务价值一起掐掉。 另外,透明度和同行共享经验很重要。Agent 安全还在早期,大家都可能踩坑,如果能共享已经遇到甚至解决过的问题,至少不用每件事都从零开始。实际落地时,把任务边界和权限范围尽量写清楚,让业务能用得起来,同时把意外后果压住,可能才是更可行的方向。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-9-15 20:43 , Processed in 0.021795 second(s), 17 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部