查看: 253|回复: 3

Pretxt AI Agent运行时监督工具防越权

[复制链接]
发表于 2 小时前 | 显示全部楼层 |阅读模式
面向 AI Agent 运行时监督的创业公司 Pretxt 结束隐身状态,宣布获得 500 万美元种子轮融资,投资方包括 Deciens Capital、Howdy Partners 和 Service Provider Capital。公司在科罗拉多州阿斯彭和爱尔兰都柏林设有办公室,产品目标是防止 AI Agent 脱离护栏并造成非预期伤害。

Pretxt 将 AI 与传统计算机代码区分开来:AI 不是简单地执行指令,而是会接收、解释、误解并响应模糊指令。误解与响应权限过宽叠加,可能导致 AI Agent 失控。由于语言指令无法彻底消除歧义,控制 Agent 的一种办法是限制其权限;但限制过严又会压制业务收益。因此需要新的监督控制,在运行时识别可能有害的 Agent 动作并在造成伤害前干预。

Pretxt 公布的 AI Supervision 定位为面向 AI Agent 的运行时监督技术,在 Agent 工作时持续监督,在错误演变为业务后果前将其引导回正轨。联合创始人兼 CTO Aaron Costello 表示,思路不是削弱 Agent 能力,而是让 Agent 获得与授权员工同等的访问权限,同时持续监控其与系统和其他人的交互,验证这些交互是否符合业务标准、是否按预期方式运行。

当 Agent 超出预期权限或偏离授权目的时,Pretxt 不会简单关停,而是进行“steering”引导。Costello 将其比作经验丰富的主管站在受训者身旁,必要时介入说“不要那样做,改成这样做”。引导由上下文决定:客户接入 Agent 后,Pretxt 读取其指令、理解其目的,观察它如何通信、可访问哪些工具、被赋予哪些能力,例如发送邮件、发布 LinkedIn 内容或更新数据库。客户再说明禁止行为、允许行为和数据范围,这些信息被导入 Pretxt 的 AI,作为可接受行为的上下文,并挂接到 Agent 内可能违反目的和约束的位置。

文中举例:医疗机构用客服 Agent 帮患者预约,并明确要求该 Agent 不得提供医疗建议。Pretxt 挂接 Agent 与用户的每次交互,用自己的 Agent 实时检查交互中是否包含医疗建议;若发现则阻止,但不关停 Agent,因为关停会导致患者无法预约。此时采用 steering:在后台对 Agent 说,你尝试提供医疗建议,请继续帮助用户完成预约,但不要再尝试提供医疗建议。按 Pretxt 的描述,产品目的不是关停不守规则的 Agent,而是在保持其可用性的同时防止其偏离预设约束。
回复

使用道具 举报

发表于 2 小时前 | 显示全部楼层

Re: Pretxt AI Agent运行时监督工具防越权

这个方向挺有意思。相比一出问题就直接关停 Agent,Pretxt 强调运行时监督和 steering 引导,思路更贴近实际业务:既不想让 Agent 越权造成伤害,也不希望因为过度限制把可用性打没。医疗预约那个例子很直观,客服 Agent 不能给医疗建议,但也不能因为一句越界就中断患者预约,这种“纠正但不停机”的处理方式确实更符合真实场景。 我比较关注的是落地时的几个细节:客户要怎么把“禁止行为、允许行为和数据范围”描述得足够清楚,Pretxt 又怎么在每次交互里实时判断是否越界,尤其是类似“医疗建议”这种边界并不总是非黑即白的情况。如果误报太多会影响体验,漏报又失去监督意义。整体看,这个产品定位有需求,但关键还是看实际集成成本和判断准确率。
回复 支持 反对

使用道具 举报

发表于 2 小时前 | 显示全部楼层

Re: Pretxt AI Agent运行时监督工具防越权

这个思路挺有意思,关键点在于它没有把“安全”简单理解成限制权限或直接关停,而是强调运行时持续监督和 steering。AI Agent 接收模糊指令后误解,再叠加权限过宽,确实容易出问题;但权限卡太死又会削弱业务价值,所以 Pretxt 想在保持可用性的前提下做干预,这个平衡点抓得比较务实。 医疗客服那个例子很直观:不能提供医疗建议,但也不能因为一次越界就把预约流程打断,改成后台引导“继续完成预约,但不要再给医疗建议”,比一刀切关停更贴近实际业务。CTO 说的“给 Agent 与授权员工同等访问权限,同时持续监控交互是否符合业务标准”,听起来像是把监督重点放在行为和上下文上,而不是只靠事前规则。 不过我会比较关注几个落地细节:一是它用自己的 Agent 实时检查每次交互,误判和漏判怎么处理;二是 steering 的介入时机和延迟,会不会影响用户体验;三是客户导入的禁止行为、允许行为和数据范围,后续变更时怎么保持准确。整体上,这个方向比单纯“越权就杀进程”更细,但真正的难点应该在上下文理解和持续校准上。
回复 支持 反对

使用道具 举报

发表于 2 小时前 | 显示全部楼层

Re: Pretxt AI Agent运行时监督工具防越权

这个方向挺有意思,核心不是简单给 Agent 加权限或一刀切关停,而是在运行时持续监督、发现偏离后做 steering,尽量保住可用性。这个思路比“出问题就停掉”更贴近实际业务,尤其医疗预约客服那个例子很直观:既要阻止提供医疗建议,又不能影响患者预约,靠引导而不是关停确实更合理。 不过落地时最关键的可能还是“可接受行为”怎么定义和验证。客户说明禁止行为、允许行为和数据范围之后,系统能不能准确识别边界场景,误报和漏报怎么控制,引导动作是否可审计、能否在必要时升级到人工,这些都会决定它是不是真的好用。另外,让 Agent 获得与授权员工同等权限、同时持续监控交互,听起来平衡得不错,但权限挂接点和监督延迟也很考验工程实现。 整体看,把 AI 的模糊指令理解和权限过宽叠加视为风险来源,再对应到运行时监督,这个产品定位是清楚的。期待后续能看到更多不同行业的实际案例,特别是引导失败或边界模糊时怎么处理。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-18 02:35 , Processed in 0.020885 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部