本文来自微信公众号“数世咨询”，作者/nana。
我们正应用未来研究中常用的方法，尤其是地平线扫描和场景规划，来探索大语言模型（LLM）等人工智能（AI）会如何影响未来安全运营的场景。
地平线扫描并不是严格意义上的预测未来，而是早期检测微弱信号，从而识别新兴趋势的驱动因素。我们并不试图确定某个预期的未来，而是描述一系列可能的未来（四种未来模型）。规划人员可以利用这几种未来进一步开发场景，以帮助进行风险评估、战略规划等类似任务。
如果AI未来陷入死胡同？
炒作者的任务就是把所有人都吸引过来下场狂欢。
“AI死胡同”假设未来AI无法兑现当前关于该技术的那些炒作。对于这种未来，我们考虑可能出现下面两种场景：
场景#1：AI最终是类似加密货币、NFT和元宇宙的又一场炒作。
场景#2：AI被过度吹捧，随之而来的失望导致投资缩减和新一轮AI寒冬。
在AI的未来，当前围绕人工智能的炒作最终会被证明是虚无缥缈的。随着AI技术局限性的显现，大众对AI的热情和投资逐渐减少。AI社区遭受幻想破灭的重击，触发新一轮AI寒冬，投资与研究大幅缩减。
但要注意，这一未来并不意味着机器学习就没有任何有益的应用，也不意味着AI理论上不可行，而是表明由于各种限制和约束，当前的AI技术进步浪潮不会逐步过渡到成熟的通用人工智能（AGI），即技术奇点。
分析
我们来讨论一下可能导致AI死胡同结果的关键外部因素，在可能的情况下会用到一些或强或弱的信号。你可能会注意到很多因素紧密交织，也会看到有些因素会在略微不同的背景下再次出现。
未来昭示AI死胡同的信号
下面我们就来看看可能表明AI死胡同的一些信号和趋势。
01
经济因素
投资者纷纷涌向生成式AI，早期初创公司投资人在2022年向这个领域砸进了22亿美元资金（与此形成对比的是整个欧洲的投资金额是58亿美元）。但如果AI未能兑现预期的投资回报，AI研发的进一步资金支持就会遭遇灾难性打击。
例如，风险投资公司Andreessen-Horowitz（a16z）发布报告称，研究大语言模型的典型初创公司将其资本的80%耗在了计算成本上。该报告还表示，取决于硬件设置，单次GPT-3训练的成本在50万美元到460万美元之间。
矛盾的是，投入如此大量的资金未必能保证经济上的成功或获利：谷歌近些时候泄露的一份报告认为，没有任何壁垒可以阻止此类模型的通用开源应用。其他公司，比如Snapchat，则过早向市场推出产品，最终惨淡收场。
如此之高的开发成本，再加上缺乏可以盈利的应用，是不会让投资人或利益相关者高兴的。这种情况还会导致大规模资本耗损，只有少数云提供商和硬件提供商会开心。
同时，相当多的商业领袖都直言会积极采用AI，蓝标就计划用生成式AI全面替代外聘文案和编辑，而IBM则估测高达50%的常规工作可以实现自动化。如果这些假设被证明是错误的，很多企业将陷入困境，面临痛苦的调整。
一些评论家已经开始敦促谨慎行事，因为目前为止还存在相当大的未量化风险，比如生成式AI产生的艺术作品的版权问题。生成式AI经济的现实世界体验也喜忧参半。采用Fiverr或Upwork等自由职业服务的客户报告称，公然使用生成式模型产生的低质量作品交差的现象激增。
最后，对于最近刚兜售过加密货币、NFT和元宇宙的那批公司推出的又一革命性技术创新，大家也是存在相当大的怀疑。
02
实际应用进展有限
尽管我们在狭义AI应用方面取得了长足进步，但并未在真正的通用人工智能（AGI）方面有所进展——虽然有毫无根据的说法宣称AGI可能会以某种方式突然出现。生成式AI模型呈现了前所未有的现象，但这是完全可以解释的，包括其种种局限。
在大量文章对AI如何自动化营销、开发与设计的各项事务满溢赞美之词的同时，也有越来越多的证据表明，这类模型的应用领域可能相当狭窄。现实世界场景中的自动化需要高度精准，例如阻止网络钓鱼攻击尝试的场景，但这一精准度是大语言模型所不具备的。
一些技术专家已经表达了对当前模型营销过度名不副实的担忧，也敲响了关于新一轮AI寒冬的警钟。
理论上，AI前景广阔。但由于可行性问题、缺乏明确用例，或者无法有效扩展解决方案，AI的实际应用可能达不到预期效果。
03
隐私和伦理顾虑
另一信号是围绕隐私、伦理和AI系统潜在滥用的担忧越来越多。呼吁加强监管的声浪一波高过一波，但严格监管可能会阻碍AI开发和采用，从而导致AI陷入死胡同。
为了在没有任何利益冲突的情况下警示世界不应受控AI的风险与危险，人工神经网络先驱Geoffrey Hinton最近辞去了他在谷歌的工作。美国政府召集了谷歌、微软、OpenAI和Anthropic的高管共同商讨AI的未来。最令人惊讶的可能是OpenAI首席执行官Sam Altman敦促美国国会对其实施监管。
其中悲剧在于，围绕AI的夸大其词实际上可能会得出AI潜在滥用会造成伦理和社会影响的结论，从而触发严格监管，扼杀AI发展。隐私顾虑、岗位替代和“深度伪造”技术等问题可能会引发强烈抵制，促使政府施加严格限制——尽管现实中该技术只有轻微或迭代影响。
只要AI系统被视为不可信，无论决策中的重大失败和偏差是真实的还是想象中的，公众认知可能都会转向反对AI。
04
对环境造成的影响
AI的前景不仅仅在于自动化，还必须廉价、便捷和可持续。AI可能在技术上可行，但或许不划算，甚至对环境有害。
现有大量数据表明，大语言模型之类的AI技术会对环境产生重大影响。最近，一篇题为《让AI不那么“渴”：揭示和解决AI模型暗藏水足迹》的研究估算，20~50个问题的典型对话会耗费500ml水资源，且仅仅是训练GPT-3就可能需要多达70万升水。
斯坦福大学以人为中心的人工智能研究所（HAI）《2023年人工智能指数报告》得出结论，单次GPT3训练相当于排放了502吨二氧化碳，即使是最节能的BLOOM模型，碳排放量也超过了美国人均年碳排放量（BLOOM排放25吨，美国人均18吨）。
我们刚刚踏入大语言模型时代，效率无疑会有所提高，但这种提升将来必须是实质性的。更新的模型预期会比现在的大得多，而采用率虽然已是历史新高，未来还将继续腾飞。如果要实现万事万物超自动化和按需虚拟助理的前景，能源消耗的增长将大到不可持续。问题就在于，高耗能AI模型如何在低碳经济中茁壮成长？
05
对安全运营的影响
如果当前的AI技术浪潮被严重夸大并最终走入死胡同，那么安全运营可能受到如下影响：
传统方法会重获关注
随着AI未能兑现其智能自动化和分析的前景，网络安全运营将继续依靠人工驱动的流程和传统的安全措施。
这意味着安全专业人员将不得不持续改善零信任等现有技术。他们还必须继续创建和管理无穷无尽的最新检测、脚本和威胁情报，从而跟上不断演变的威胁形势。
安全运营管理能力，尤其是跨异构基础设施检测与响应等工作流程的编排，仍旧既困难又昂贵。
中型企业尤其需要更加仰赖各种服务来补上随之而来的技术和人员缺口。新的服务产品和模型将不断发展，特别是在自动化和数据分析需要专业知识和技能的情况下。
从好的方面看，至少威胁形势的发展速度也只会局限在人能达到的速度上了。
自动化将归于平稳
缺少了更加智能的机器自动化，企业将继续受困于网络安全人才短缺问题，分析师的手动工作负载依然很高，企业需要找到能够提升运营效率的方法。
SOAR等自动化方法将仍旧高度仰赖人工，并仍然基于预配置的静态剧本。无代码和低代码自动化可能有助于更方便地实现自动化，但完全自动化将仍旧是纸上谈兵。
不过，即使是当前的大语言模型能力水平，也足以自动化基本的日志解析、事件转换和一些分类用例。到2024年底，几乎所有的安全解决方案都会普及此类功能。
威胁检测与响应仍将很慢
缺少泛AI驱动的解决方案，威胁检测与响应时间只能略有改善。缩短黑客利用漏洞并造成破坏的机会窗口将意味着需要更加有效的安全运营。企业将不得不重点加强自身现有系统和流程，从而尽可能地减小检测与响应缓慢的影响，自动化会被更审慎但更积极地整合进来。
威胁情报依然难以管理
缺少AI驱动的分析，供应商会继续难以收集和管理威胁情报，大多数最终用户也仍旧难以更具战略性地使用威胁情报。安全团队将不得不依靠手动流程来收集、分析和上下文威胁信息，可能会延迟对不断演变的新威胁的认知和响应。
传播和分析大量威胁情报的能力必须通过更加简单的手段予以加强，比如通过可视化和图分析，团队协作情报共享也需要重新审视和修正。
人员专业知识重获重视
如果AI未能发挥作用，人员专业知识在网络安全运营中的重要性会愈加凸显。企业仍需继续重视招聘、培训和留住成熟网络安全专业人员，这样才能保护自身资产并最大限度地减小风险，安全专家争夺战仍将十分激烈。需要开发新的方法和框架，从而更好地获得和维持现有的团队专业技能，改善知识管理，增强跨团队和领域合作。
结论
如果不得不面对AI未来死胡同，网络安全行业将继续重度依赖传统方法，尤其是人力驱动那些，但情况会有所不同。
即使是我们听闻的一些不太亮眼的用例也已经解决了某些难题。从将人类语言查询实时转换为SQL语法，到加快成熟开发人员的编程速度，再到对网络事件进行分类，大语言模型的影响已然显现出来。这股浪潮推动了各方：既包括防御人员，也包括攻击者。
但更重要的是进展能否继续。除了技术局限，一系列其他驱动因素和趋势都可能会影响我们是否会经历新的AI寒冬。仅凭AI可能带来的风险，例如社会不稳定和自主杀人机器人，就足以引发监管重击，扼杀任何进一步的进展。太早设置过高预期也可能会导致足够失望与幻灭，从而进入AI寒冬。
炒作可能造成的破坏可远不止惹人生厌。炒作可能导致错失恐惧症（FOMO：Fear of Missing Out），从而招致财务损失，也可能过早扼杀原本有前景的技术。
06
概率：25%不太可能
虽然考虑AI和网络安全运营的未来时出现了诸多未知的问题，但目前围绕AI和生成式AI的炒作至少有一定的事实基础。
也有许多专家看好生成式AI，其他AI方法也已然成为主流。我们在某些领域已经看到了种种好处。有足够多的萌芽表明这是真正的突破。但这可能是渐进而非革命。如果你一直在使用AI写作助理Grammarly、大多数编程集成开发环境（IDE），甚或只是用手机发消息，你都会感受到这种缓慢的发展。不同的是，这是AI首次可以随时投产。我们现在可以开始构建真正有意思的东西了，看看我们尝试打造更快的马会发生什么，正如福特汽车公司创始人亨利•福特打趣的那样，“如果我问客户他们想要什么，他们的回答一定是一辆更快的马”——技术要走在市场前面，消费者看不到那么远。
尽管如此，炒作本身并没有错。很多混饭吃的善意但不太专业的评论家、相当多的剽窃者，还有不少铤而走险的企业和投资者，全都急于抓住任何一次机遇，无论这种机遇多么投机或未经证实。
所以，针对上面两种AI场景，围绕生成式AI的炒作没有真正的基础，或者炒作将引发新一轮AI寒冬，都不太可能发生。
