查看: 352|回复: 0

Outerlimit推出AI Agent授权层阻断有害自主操作

[复制链接]
发表于 4 小时前 | 显示全部楼层 |阅读模式
事件概述
据 SecurityWeek 报道,纽约公司 Outerlimit 结束隐身状态,获得 1600 万美元 pre-seed 融资。投资方包括 AlbionVC、Evolution Equity Partners、Crane Venture Partners 以及多名个人天使投资人。公司由 Tony Pepper、Neil Larkins 和 Peter Vincent 创立,提供面向自主式 AI Agent 的去中心化安全与授权层,目标是发现、观察并阻断有害的自主 AI 动作。

背景
企业正在快速采用自主 Agent 来提升决策与自动化速度。随着底层模型能力增强,Agent 常被赋予业务身份与凭据的广泛访问权限。但 Agent 业务目的越复杂,定义和限制其可执行动作(alignment)越困难。

原文认为,传统网络安全依赖规则和法律/治理带来的后果恐惧来约束人的行为,但自主 Agent 没有规则、道德或后果恐惧概念,除非被明确指示。因此控制只能依赖编码精度和外部 guardrails,而目前两方面都不足。Outerlimit 联合创始人 Peter Vincent 表示,在 agentic 时代,Agent 使用推理模型并访问可影响世界的工具,不会按人类框架运作;它们会根据读取内容或与其他 Agent 交互改变行为,并以机器速度行动。需要新的安全架构,在执行时刻将身份、授权和动作绑定为单一操作。

Outerlimit 的思路
Outerlimit 采用 discover、observe、enforce 三部分:发现(定位)系统中的 Agent,观察其行为,并执行预定义的允许/禁止自主动作策略。公司称,借助其技术和研究,可以证明策略会被遵循。例如,若 Agent 被委托 token,可保证该 token 可使用的范围、位置和条件。这样可绕过 Agent 的 alignment 问题:即使 Agent 本身 misaligned 并尝试偏离策略,其作为工具的动作仍受指定策略约束,而不是受开发者编码的 alignment 约束。

简言之,Outerlimit 不区分 Agent 是否 aligned,对所有 Agent 同等对待。它通过证明 Agent 最可能下一步做什么来领先一步,并以与 Agent 相同的机器速度运行,从而在有害动作发生前阻断。该安全思路的底层目的与传统网络安全一致:让业务安全地做想做的事。

观点
Vincent 认为,企业 AI 下一阶段不应是构建最多 Agent 的竞赛,成功应以组织能否安全利用 Agent 部署来衡量。如果智能被商品化,信任将成为限制因素;在 co-intelligence 时代,解决该问题对个人、组织和国际安全都是基本义务。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-9-24 13:13 , Processed in 0.021977 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部