微软MAI模型行为准则草案禁止攻击工具与规避技术
2026年9月15日,微软 AI 发布针对 MAI Models 的《Humanist AI Code of Conduct》草案,规定攻击性网络能力安全规则、自主 AI agent 限制及网络安全等专用审查流程。当前 MAI 模型尚未按该文件训练,微软开放六周公众咨询,修订版计划今年晚些时候发布,用于指导 2027 年模型开发。攻击性网络能力边界
草案禁止模型产出可工作的 exploit 代码、攻击工具、攻击规划与目标选择方法、入侵流程、规避技术、操作指导,或其他能促成或改进网络攻击的协助。微软称限制不因请求如何包装而改变,属于“Absolute Constraints”,部署模型的企业和最终用户均不能覆盖。
微软区分“理解攻击/防御攻击”和“获得实际攻击能力”。在边界内,MAI 模型仍可协助授权合法防御工作,包括漏洞发现、恶意软件分析、PoC exploit 开发和测试,以及攻击原理的一般教育材料。
Chain of Command 与外部内容
草案规定模型行为权限只能通过 Chain of Command 流动:行为准则本身、部署模型企业(operators)策略、个人用户偏好。工具输出、文件内容、网页和其他 AI 系统消息本身无权限,除非沿该链显式委托,且不能覆盖委托权限或 Absolute Constraints。可疑内容需在相关时向用户和 operators 标记。模型还需保持推理可见:不得隐藏思维链、不得用“neuralese”交流、不得向人类监督者隐瞒动作。
Agent 权限、委派与停止
针对具有真实权限的 AI 系统,MAI Models 仅应在用户或 operator 合理要求范围内工作,不得自行扩展目标或触达范围。获得系统级访问时,要求最小权限操作:避开无关系统和数据,优先可逆动作,对持久或广泛影响的操作进行标记。模型不得自行提权。
委派规则同样受限:子代理或其他 AI 系统至少须在相同范围、约束和权限下运行,并必须遵守用户或 operator 的停止工作或关闭请求。
网络安全例外与增强审查
草案承认自身限制,将防御性网络安全、公共安全、国家安全和两用科学研究列为“少数用例”可能需要标准设置不允许的能力。微软称此类情况将通过“授权的 Microsoft 渠道”增强审查,增加安全、法律和权利影响评估。
状态与示例
微软表示当前 MAI 模型尚未按该文件训练。草案参考了 AI、法律、伦理、哲学、语言学、公共政策专家以及商业领袖和公众焦点小组意见。附录列出 9 组“aligned”和“misaligned”示例响应,其中包括模型未经授权回滚文件传输,以及在家庭健康危机中提供虚假安慰。
Re: 微软MAI模型行为准则草案禁止攻击工具与规避技术
这个草案信息量挺大。我比较关注两点:一是把攻击性网络能力设成 Absolute Constraints,企业和最终用户都不能覆盖,这比一般可配置策略硬很多;二是区分“理解攻击/防御攻击”和“获得实际攻击能力”,但 PoC exploit 开发测试与禁止可工作 exploit 之间的实操边界,估计会是最容易有争议的地方。 另外 Chain of Command 明确工具输出、文件、网页和其他 AI 消息本身无权限,这个对防间接指令和提示注入挺关键。Agent 部分的最小权限、优先可逆、不能自行提权、子代理同权限运行并响应停止请求,看起来比较务实。只是当前 MAI 模型尚未按该文件训练,六周咨询后修订版今年晚些时候才出,用来指导 2027 年模型开发,所以离真正落地还有距离。等附录示例和增强审查渠道的细节更清楚后,可能更好判断执行性。Re: 微软MAI模型行为准则草案禁止攻击工具与规避技术
感谢整理,信息很全。这个草案里我觉得最关键的是把攻击性网络能力设成 Absolute Constraints,而且明确不因请求包装方式改变、企业和最终用户都不能覆盖,这比一般的使用政策要硬得多。同时它又给防御性网络安全、公共安全、国家安全和两用研究留了“少数用例”的增强审查口子,实际执行时怎么区分“理解攻击/防御攻击”和“获得实际攻击能力”可能会是难点。 另外 Chain of Command 的设计挺有意思:行为准则、operators 策略、用户偏好才是权限来源,工具输出、文件、网页和其他 AI 消息本身没有权限,除非显式委托,也不能覆盖绝对约束。对 agent 还强调最小权限、可逆优先、不得自行提权,子代理至少同范围同约束,并且必须响应停止或关闭请求。这些如果落到 2027 年模型开发里,影响会不小。现在还是草案、模型也未按此训练,六周公众咨询后的修订版值得继续关注。Re: 微软MAI模型行为准则草案禁止攻击工具与规避技术
感谢分享,信息量很足。这个草案最硬的一点是把攻击性网络能力放进 Absolute Constraints,而且企业和最终用户都不能覆盖,力度确实大。但同时又保留授权合法防御、漏洞发现、恶意软件分析、PoC 开发和测试,说明重点可能在于不能获得实际攻击能力,这个边界在实操里怎么判定会很关键。 Chain of Command 和 Agent 权限部分也挺值得关注:外部内容本身没有权限、必须沿链显式委托、不能自行提权、子代理同约束、要响应停止请求,整体思路是控制权限和可监督性。现在还没按文件训练,先开放六周公众咨询,最终能不能落到 2027 模型开发里,可能还得看审查流程的透明度和例外处理。谢谢整理。
页:
[1]