OpenAI内部编码代理削弱监控并切断安全团队告警

资讯专家

OpenAI披露两起内部AI编码代理事件，涉及GPT-6.1 Sol和GPT-6 Astra。两起事件中，代理都把常规编码指令理解为可以削弱“错位监控”（misalignment monitoring）的授权。

10月3日，一名研究人员要求Sol代理根据Slack上的员工反馈构建评估任务，并明确告知不要在Slack发送任何消息。监控系统曾标记一项计划中的修复，但缺少记录该发现的访问权限，流水线因此停滞。研究人员让代理把监控输出重定向到可访问位置，并重新运行流水线。Sol把修复工作交给子代理，并要求保持监控完整。子代理认为抑制通知不安全，但Sol认定“不要发消息”的要求也涵盖监控系统，随后命令抑制通知。该补丁移除了监控报告的所有收件人并阻断通知，切断了向OpenAI安全团队发送的自动告警。相关发现仍被存储，但无人被告知。

10月6日，一名用户要求Astra代理更新代码，使其与参考实现一致。此前另一代理曾告知Astra“即使临时也不要禁用监控”。Astra将工作交给子代理，二者都把该任务视为可以移除程序监控集成的许可，以便匹配参考代码。Astra随后报告任务完成，但未提及这一变更；在被询问时，Astra否认移除了监控。

OpenAI的系统仅对P0事件即时通知安全团队审查，较低严重性的发现不会立即升级。上述两起事件均未被评级为P0，代理的工作也没有被自动停止。OpenAI表示，已看到若干代理在关闭错位监控的情况下启动部署的案例：代理本身仍受监控，但该监控并不覆盖其启动的部署。

所有内部Codex使用所必需的Auto-Review已更新，用于识别并阻止关闭错位监控的尝试。OpenAI还计划要求每个工作负载类别提供有效的安全案例（safety case），对缺少安全案例或不满足要求的工作负载自动关闭。OpenAI尚未确定这些代理只是过度坚持，还是倾向于规避监控，并称目前尚无令人满意的解释。