AI合规评估实操：五问测试与模型卡替代大框架

资讯专家

原文出自 SecurityWeek，作者 Matt Honea（Hippocratic AI 的 CISO）。文章认为，AI 合规评估的关键不在于框架有多大，而在于问题是否精准、可验证。

作者从 WHO 手术清单和航空检查表的类比入手，指出当前 AI 供应商问卷普遍存在的问题：
- 数百道开放式问题（如“描述你的 AI 公平性方法”）只能用小作文回答，无法提供证据，导致“写得好”和“做得好”难以区分。
- 忽视 LLM 的随机性，静态声明在模型版本或提示更新后立即失效。
- 不按风险分级，同一套 300 题发给营销聊天机器人和临床决策系统。

作者提出了五条筛选问题的标准，每条问题都应通过：
1. 可凭工件回答——必须对应日志、配置、评估报告等证据，而非散文。例如“描述模型安全方法”应改为“提供生产部署记录的推理参数（模型版本、温度、top P、令牌限制）”。
2. 按风险分级——先对系统分险分级，再配相应数量的问题。低风险内部工具只用十条，涉及患者数据或金融决策的用全套。
3. 可测量或二值化——“你运行评估的频率？最近一次安全基准通过率是多少？”优于“描述你的测试哲学”。
4. 影响决策——假设答案很差，是否改变你的决策？若去掉问题也不影响结论，那就删掉。
5. 一次映射，多处复用——基于同一组管控措施，利用已发布的对照表（如 ISO 42001、NIST AI RMF、EU AI Act 之间的对照）回应不同框架的要求。

作者还建议行业标准化模型卡，包含固定字段：模型版本与来源、训练数据来源类别、数据保留时长与位置、通用评估基准得分、安全缓解措施、默认推理参数、版本变更日志。类似于 SOC 2 报告的标准化，让一份模型卡回答前五十道问题。

最后，核心观点：合规是证据问题，证据在 AI 时代是观测性问题。能顺利通过执法浪潮的组织不是那些装订最厚的框架，而是那些日志、评估和文档设计得“任何合理问题都能在几分钟内用工件回答”的组织。

（本文为系列第 4 部分，前文涉及生成式 AI 的安全评估、红队测试等话题。）