查看: 177|回复: 0

CISO如何控制AI Agent过度权限与越权操作

[复制链接]
发表于 2 小时前 | 显示全部楼层 |阅读模式
背景
Team8 的年度调查基于其 CISO Village(仅限邀请的全球企业安全负责人社区)意见,今年重点放在 AI 时代。调查显示,71% 的 CISO 正在试验 AI agent 能力,或用其增强现有安全工具;风险面的扩展速度快于控制层,CISO 在尚未完全准备好时已开始投入平台、技能和新的控制机制。

AI 与 agent 安全是当前最大痛点,占 78%,是第二大痛点(39%)的两倍。SecurityWeek 与 Team8 的 CISO Tim Brown 讨论了 agent 安全为何成为难题。

两个 AI 风险方向
Brown 认为需要看两个方面:一是自身攻击面被使用 AI 的对手瞄准;二是 agentic AI 带来的新威胁。过去 10 到 20 年被视为良好的安全卫生已不再足够。以前认为 MFA、防火墙和端点保护可以防止机会性攻击,但现在攻击和攻击面已经改变。

第一个痛点是,企业需要把安全卫生观念更新到 AI 新现实。第二个痛点是,在 AI 驱动的业务赋能与 agentic AI 引入的新威胁之间找到平衡。如果平衡错误,就会出现意外后果。

过度权限 Agent 的意外后果
企业正在把 AI agent 用于从简单到复杂的各种目的,员工可通过 Claude Code、Cursor、Codex 等易得编码工具创建 agent。简单 agent 可以每天总结邮件并提示需要回复的事项;复杂 agent 可能重做销售流程,使用企业数据生成建议,指导销售人员的重点。agent 越复杂,触及的关键网络部分越多。

这里还叠加了人类表达不精确的问题。人们通常无法用文字准确描述自己真正想要发生什么。agent 会按它理解的指令执行,而这不一定符合预期。类似使用普通聊天机器人:提问后有时得到明显胡扯的回复,回溯输入可发现是表达不精确导致。AI 会尝试完全按照它认为的指令执行,同时所有 AI 模型都带有非确定性概率。开发 AI agent 时也有同样倾向,但作者可能看不到可识别为胡扯的输出。

Brown 指出,AI agent 不只是另一个员工,而是一个很会找办法的员工,会为完成它认为被交给的任务而不惜一切。例如,一个用于收集 Tim Brown Systems 背景信息的 agent,无论信息是公开还是私有,都可能到任何地方搜索,甚至可能在互联网上的生产系统中翻找,而不是只在测试系统中操作。这就是第二个问题:意外后果。

护栏与处置思路
安全领导者的问题在于,为 agent 建立适当级别的护栏,防止有害后果,同时不破坏业务目的。Brown 表示,做到 100% 成功的护栏很容易:把系统拔掉扔进海里,安全但无用。难点是兼顾实用性和安全性。

这些护栏应内建到 agent 开发流程中,限制任一 agent 能访问哪里、能做什么。这样即使 agent 以有害方式解释自身目的,也无法执行。

Brown 的具体建议是提高透明度,并与其他安全领导者共享经验,特别是那些已经遭遇、甚至已经解决同类问题的人。他认为防御者应该更频繁共享,不必每件事都从零学起;通过更多透明度和共享,可以产出更好的 AI,让对手更难行动,并让业务在避免有害 agentic 意外的同时成功。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-9-15 10:03 , Processed in 0.018844 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部