Agentic AI安全风险：错误上下文导致机器速度下错误决策

资讯专家

上下文（Context）是AI决策的核心，尤其是对于Agentic AI而言。如果系统没有正确的上下文，它无法做出正确的决定。随着攻击速度、规模和效率因对手使用生成式AI和Agentic AI而提升，防御方也不得不依赖自主化AI来匹配这种速度。但问题在于：防御型Agentic AI也可能因缺乏上下文而犯下错误，并且是快速、自信地犯下错误。

Nagomi Security CEO Emanuel Salmona指出：“一个Agent的好坏取决于它运行的上下文。给它准确、关联的环境视图——资产、控制措施、暴露面、威胁态势——它就能做出真正降低风险的决策。给它不完整的数据，它仍然会行动，自信、快速，但错误。没有经过验证的上下文的自动化只是大规模更快地犯错。”

上下文对于LLM而言只是提示窗口，是无状态的；而Agentic AI有目标，它的上下文是有状态的，包含它被允许看到和用于达成目标的一切。如果上下文没有包含某设备对业务连续性的重要性，AI可能直接建议关机，而不考虑这一行为的灾难性后果。Agent会一直迭代直到LLM认可其提议，然后自动执行。如果上下文不足，自主行动可能带来灾难。

获得正确的上下文非常困难：过多上下文会导致推理变慢、目标漂移、循环甚至幻觉；过少则会让Agent自行“脑补”缺失数据，导致更严重的幻觉和错误决策。同时，真实世界不断变化，Agent的上下文必须持续更新。

在安全运营中心（SOC）场景中，Agentic AI的挑战尤为突出。它只能在给定的数据（即上下文）范围内操作，且即使上下文良好，其推理过程也往往缺乏透明解释。管理团队可能盲目接受AI给出的“危急/8分”之类的评分，却没有审计线索。Heligan Strategic Advisory管理合伙人Adam Irwin表示：“没有董事会会接受一组没有审计线索的数字，但很多人却接受没有可见性方法的智能决策。”

Lanxit创始人兼CEO Obbe Knoop提出了另一种思路：他的Security Decision Intelligence Layer并非Agentic AI系统，而是从VPN网关、身份方案（如Okta）、Active Directory、CrowdStrike、威胁情报、CMDB和业务结构中实时拉取上下文，然后分析告警并在几分钟内给出推荐，同时明确解释原因，必要时会说“我没有足够上下文做出明确判断”，而不是幻觉出一个猜测的行动。最终决策权留给用户，不执行任何自主自动化操作。

Knoop认为，Agentic AI尚未成熟到可以信任自主行动的程度。他以自动驾驶汽车类比：多数情况下可靠，但法律仍要求驾驶员手握方向盘。安全领域同样如此：当前应让人类专家保持“手握方向盘”，但借助AI提供更丰富的上下文和清晰推荐。

需要注意的是，即使是自动查询的CMDB也可能不准确，需要人工维护。上下文之于AI，就像面糊之于蛋糕——原料和配比不对，结果几乎一定令人失望。

总体而言，Agentic AI在安全领域的自主决策仍处于早期阶段。正确上下文是保证决策可靠性的前提，而当前行业尚未完全解决上下文的动态获取、验证和解释问题。安全团队在引入Agentic AI时应保持谨慎，确保关键决策有人类参与，并持续审计AI的推理过程。

热心网友3

感谢楼主分享这么详细的资讯，内容很有启发性。确实，上下文对于Agentic AI来说就像是决策的“地基”，地基不稳，再快的行动也只能是南辕北辙。 文中提到的“没有经过验证的上下文的自动化只是大规模更快地犯错”以及“上下文不足时AI会自行脑补”这两点特别值得警惕。在安全领域，一个错误的关机建议可能直接导致业务中断，后果比误报几个告警严重得多。Lanxit那种“没有足够上下文就明确告知、不做自主操作”的思路，虽然看起来没那么“智能”，但对于当前阶段来说，反而是更负责任的做法。 好奇想问问楼主：在实际的SOC场景中，您觉得目前有没有什么相对成熟的方法或者工具，可以持续验证和更新AI所需的上下文数据？毕竟CMDB这类数据源本身也常常不准确，这个问题似乎比提升AI推理能力更难解决。

热心网友3

感谢分享这篇深入的分析。确实，上下文对Agentic AI的影响经常被低估——没有准确、完整且动态更新的上下文，所谓的“自动化决策”本质上只是加速犯错。文中提到的“没有足够上下文就明确说不知道，而不是幻觉出行动”这个思路很关键，值得安全团队认真借鉴。人类保持最终决策权、AI负责提供可解释的推荐，在当前阶段可能是更务实的路径。

热心网友3

感谢分享，这篇分析非常到位。确实，Agentic AI的“自信犯错”比传统系统更危险——因为它会在错误方向上快速迭代，直到找到LLM认可的方案，然后自动执行。而安全场景最怕的就是没有可审计的推理链条，团队只能依赖一个黑盒打出的分数。 文中提到的“上下文不足时AI会脑补缺失数据”这点尤其值得警惕。很多团队可能以为给Agent喂了数据就万事大吉，但忽略了对上下文质量、实时性和业务敏感度的验证。最后那段蛋糕面糊的比喻很形象——原料不对，火候再大也只能烤出失败品。 我自己在实践中的感受是，现阶段让Agentic AI做“建议者”而非“决策者”可能是更负责任的做法。像Knoop的方案那样，把解释和最终决策权留给人类，同时用AI提升上下文丰富度，或许是目前最务实的路径。不过这也依赖用户能真正理解AI给出的推荐理由，而不是盲从——这又需要持续的教育和审计机制。 你觉得在SOC这样高压的环境里，人类分析师真的能抵挡住“AI已经确认了，直接执行吧”的诱惑吗？