本文来自微信公众号“数世咨询”，【编译】闫志坤。
AI系统有时会生成错误甚至误导性的输出，这种现象被称为“幻觉”。从细微的数据偏差到明显的误导性信息，这些问题都可能对企业决策产生实质影响。
01
幻觉对现实世界的影响
Tanium公司AI副总裁Harman Kaur指出，如果企业部署的AI代理使用的是过时或失准的数据，AI幻觉可能会“凭空捏造”漏洞或误读威胁情报，结果是触发大量误报或忽略真实威胁。这不仅浪费了本已紧张的安全运营（SecOps）团队资源，还可能会将资源从真正的威胁中转移，造成新的漏洞。”
其中一个新兴威胁是“软件包幻觉”——AI推荐并不存在的软件包名称。攻击者可以根据这些虚构的名称创建恶意软件包，诱导开发者在不知情的情况下将其集成到系统中，从而引发供应链攻击。这种攻击方式已被命名为“slopsquatting”。
ImmuniWeb首席执行官Ilia Kolochenko进一步指出，未经严格验证的AI生成代码风险极高。初级开发者由于缺乏代码审计能力，更容易采纳有问题的代码或配置文件；即便是经验丰富的工程师，面对越来越依赖生成式AI的现实，也有可能因过度信任而忽略潜在问题。
另一个值得警惕的方向是：AI可能制造虚假的威胁情报报告。这些假情报一旦被误信，不仅会转移安全团队注意力，还可能导致真实漏洞长时间得不到修复。尤其当AI输出未经可靠来源的交叉验证时，这类风险将大大提升。
02
缓解AI幻觉的策略
Qwiet AI首席技术官Chetan Conikee认为：“AI幻觉是概率性模型不可避免的副产品。”他建议，与其试图彻底消除幻觉，不如从设计、监控和策略层面控制其对业务运营的影响。
首先，企业应有意识地构建AI架构，在系统中引入可信框架。例如，设置中间处理模块，专门用于对AI的输入和输出进行校验与过滤，确保其始终运行在业务规则和安全边界内。
其次，所有AI生成的内容都应包含元数据，例如数据来源、模型版本、提示语结构和生成时间等。这些信息有助于快速溯源、定位错误，对于将AI集成到业务流程或客户界面尤为重要。
Conikee还建议，在部署大语言模型（LLM）时，应尽量避免开放式生成（open-ended generation），而选择基于检索增强生成（RAG）的方式。RAG通过结合内部知识库和实时检索，使AI输出更加准确、合规。
在AI上线前的测试阶段，也应引入“幻觉检测工具”。安全负责人需明确设定可接受的错误率和风险范围，从源头控制AI行为。他强调：“目标不是追求完美输出，而是确保AI在可控、可审计的范围内运作。”
要在创新与安全之间取得平衡，CISO们应从以下几个方面入手：
- 采用RAG方法：通过将AI生成与权威数据源结合，确保AI输出有据可查，有效降低幻觉率。
- 使用自动化验证工具：例如亚马逊正在开发的自动推理系统，可通过数学逻辑验证AI输出是否符合预设政策和规则。
- 及时更新训练数据：持续为AI系统输入最新、准确的信息，避免因数据老化而导致的误判。
- 强化人工审核机制：特别是在关键领域，应由人类专家对AI输出进行复核，弥补AI在上下文理解和判断力方面的不足。
- 培训用户正确理解AI能力与局限：通过教育提升用户的AI素养，培养对AI输出的理性判断，避免“盲目信任”带来的安全隐患。
GuidePoint Security公司进攻安全高级副总裁Victor Wieczorek形象地指出：“我们需要给AI设置实际的‘护栏’。这意味着将AI输出与公司既有政策挂钩，记录所有高风险内容，并确保任何关键输出在面向客户前都经过人工审核。把AI当作一个聪明但新来的实习生——可以用来起草初稿或回答常规问题，但重大决策绝不能交由它独立完成。”
*本文为闫志坤编译，原文地址：https://www.helpnetsecurity.com/2025/05/19/ai-hallucinations-risk-cybersecurity-operations/
