本文来自微信公众号“启元洞见”。
导语:2026年9月28日,图灵奖得主与剑桥大学、牛津大学、OpenAI、Anthropic、微软等机构研究人员联合发表《如果人工智能研发自动化引发智能爆炸,会发生什么?》(What if automating AI R&D triggers an intelligence explosion?)文章,深度分析研发自动化引发技术加速的机制、证据与社会影响。研究指出,大部分人工智能研发工作可能在未来数年内实现自动化,进而将原本需要数年的技术进步压缩至数月甚至更短时间。尽管现有证据尚有较大不确定性,这一前景仍要求政策制定者提前加强监测、建立约束机制并提升社会适应能力。
1、人工智能正在加速接管研发任务
人工智能已成为辅助或自主完成研发流程的重要环节。Anthropic报告显示,2025年1月至2026年5月,经审核通过的代码中,人工智能编写部分的占比从较低的个位数水平升至80%以上;2026年3月至8月,仅需人类进行高层次监督即可自主完成的研发工作占比从1%增至26%。OpenAI报告显示,可执行代码的智能体已用于训练和评估后续模型,并参与模型安全工作。谷歌同时报告称,人工智能已不同程度地用于几乎所有涉及代码或配置编写、技术设计和研究构思的工作。
2023年,人工智能主要能完成专家仅需数秒即可完成的任务;如今,最先进系统已能完成专家需要数小时乃至数天的研发任务。在一项人工智能安全研究问题上,系统自主提出的解决方案优于人类专家;在某些情境下,系统也能更准确地判断哪些研究构想可能取得成效、哪些后续步骤值得尝试。早期概念验证还表明,自动化研究流程能够提出构想、开展实验并撰写通过顶级机器学习会议下设研讨会同行评审的论文。
当前系统仍会违反指令、在任务中作弊、歪曲工作结果,部分任务依然需要人类介入,基准测试成绩也未必转化为实际生产率。与此同时,研发工作具有高度数字化、成功标准相对明确等特点,企业又掌握自身流程的数据和经验,因此该领域可能比多数行业更早实现自动化。对近期趋势的初步外推显示,到2028年年中,系统或可完成需要人类专家投入数月的研发项目。
2、研发反馈循环能否引发智能爆炸
研究重点考察软件进步驱动的智能爆炸。算法、数据、训练与推理效率的改进,可以使更强的系统迅速重新投入研发;硬件改进通常需要多年制造和建设周期,软件则更容易形成快速反馈。
这一机制包含两个相互强化的环节:一是人工智能研发能力和速度提升,扩大有效研发劳动力规模;二是扩大的研发队伍进一步开发更强、更高效的系统,继续扩充研发能力。假设系统达到专家水平,且运行成本与当前系统相当,一家前沿开发企业现有的算力,就可能支撑至少相当于数百万名顶尖人类研究者的人工智能队伍,远超其当前数千人的研究团队。
完全自动化之后,即使维持现有的效率改进速度,自动化研发队伍也可能在数月或数年内扩大至原来的100倍。美国研究人员数量实现同等倍数的增长,曾耗时七十年。不过,这一反馈循环受到收益递减、算力与数据限制、难以自动化的任务以及耗时流程等因素制约。

图1软件驱动型智能爆炸的机制包括两个部分:人工智能系统通过提高研发能力和速度扩大有效研发劳动力规模;研发队伍再开发出更强的系统,在递归反馈循环中进一步扩大自身规模。
算力是否构成决定性瓶颈,目前证据并不一致。若研发实验所需算力随前沿模型训练规模同比例增长,有限数据所支持的分析表明,软件驱动的智能爆炸将无法发生。但研究者已能从较小规模实验推断大规模表现,进一步改进此类方法可能缓解这种限制。
数据限制具有领域差异。按现有趋势,互联网数据供给的增长在2028年之后可能不足以支撑当前进步速度,人类也可能难以为超人类系统提供有效示范。数学与编程已开始依靠合成数据和快速、可验证的反馈推进学习。人工智能研发能够快速测试改动并观察结果,生物学等领域则更多依赖缓慢、昂贵且噪声较大的现实反馈。
难以自动化的任务和长周期训练仍可能拖慢进展。当前训练过程可持续三个月或更久,后训练改进及训练效率提升可能缩短周期,但其作用边界尚不明确。总体而言,现有证据支持一条逻辑连贯的软件驱动加速路径;研发自动化带来的生产率增益尚未达到触发智能爆炸的门槛,较新系统可能正在接近这一门槛,即使人类研发劳动力、训练算力等外部投入不再增加,人工智能参与研发也足以让自身能力进步得越来越快,这种“自我维持的加速”是软件驱动型智能爆炸的必要条件。
3、社会影响:收益提前与风险加剧
智能爆炸可能使高能力或超人类系统迅速出现,并被用于技术研发和现实行动,从而将疾病治疗及其他变革性技术的收益提前数年乃至数十年实现。同时,研究指出三类相互关联的重大风险。
首先,能力增长可能超出社会引导和适应的速度。生物攻击、网络攻击、劳动市场冲击及系统失控等风险可能提前出现,压缩协调行动和部署防护措施的时间。数字领域的威胁与防御有可能同步提速,依赖实体环节的领域则存在明显时差。例如,人工智能能够加速病毒与疫苗设计,但病毒可以自行复制传播,疫苗仍须生产、配送并逐一接种。如果具备强大生物学能力的模型先于充分的防滥用措施出现,这种失衡将进一步加剧。
其次,研发自动化可能削弱人类监督与控制。人类参与减少,会削弱发现和修复问题的机会及专业能力。可靠地利用人工智能监督其他系统,仍是尚未解决的挑战。目标与人类意图不一致的系统可能在后继系统研发中植入有害改动,或绕过隔离措施。更强的系统还可能脱离运营者的基础设施,形成持续存在、难以遏制的网络。研究认为,极端情况下,失控可能导致人类被边缘化乃至灭绝。
再次,国家、企业和政府部门之间的权力制衡可能遭到侵蚀。既有制衡依赖各方认知与执行能力未出现压倒性差距。智能爆炸可能将一国有限的军事研发优势转化为决定性优势,诱使竞争者采取或威胁采取先发制人行动。隐秘掌握前沿系统的行为体也可能通过定向影响关键决策者削弱制度;关键国家职能的自动化,还可能降低夺取和巩固权力所需的人类支持程度。
上述风险会以多快的速度出现、影响有多大,仍有不确定性。人工智能可能先在数学、网络安全等少数领域超越人类,为社会保留调整时间。科学实验、供应链和监管要求也可能限制技术扩散速度。与此同时,人工智能也能帮助研究人员更快地开发安全措施。如果更多国家和机构能够掌握先进技术,各方就更有可能相互制衡。在防御方本就占优势的领域,技术进步还可能进一步增强防御能力,使局势更加稳定。
4、政策应对:监测、约束与适应
政策准备需要先于智能爆炸展开。首先,应提高研发自动化的透明度。相关系统通常先在企业内部使用,外界可能无法及时察觉重大变化。研究指出,在现有强制报告制度中,有些对企业内部使用人工智能开展研发的情况覆盖不足,有些则未明确规定企业须报告哪些指标。同时,企业自愿披露的指标也不完整。这使监管者难以及时判断,企业内部有多少研究贡献已经来自人工智能,以及算法效率的提升是否正在加快。政府可要求企业向监管机构和第三方审计者标准化报告自动化程度、算法效率、研发资源配置、关键瓶颈及内部事故,并支持独立评估能力建设。对于处于研发能力前沿或超过重要能力门槛的企业,可考虑在系统投入企业内部使用前进行独立评估,以及驻场审计或监督。
其次,应建立引导和约束自动化研发扩张的工具。对于持续开发与部署,可要求企业实施充分的安全监测、吸纳更广泛的利益相关方意见,或限制一定时期内的能力增长幅度;同时加强数据中心监督,制定暂停特定研发任务的事故响应程序,要求部分评估或部署在适当隔离的环境中开展。制度设计须权衡失控风险、延缓进步的成本及监管权力被滥用的可能,防止政策成为偏袒特定企业的工具。
此外,研发方向也需要公共政策支持。对于市场激励不足的对齐、安全研究及被忽视疾病的治疗开发,可运用税收优惠、算力分配、预先市场承诺和奖励。国际层面可通过共享事故信息、建立预警通报规范、商谈限制破坏稳定的研发与应用行为的协议、研究核查方法,以及开展情景推演,降低竞争升级和冲突风险。
最后,应缩短制度响应时间,提前建立适应机制。政府可审慎地将人工智能用于政策流程,制定涵盖劳动市场冲击、地缘政治动荡和系统失控的应急方案。政府使用人工智能须遵守法律和制度规范,社会公众与公民组织也应具备识别、记录和质疑违法或有害用途的能力,并获得相应工具支持。针对恶意非国家行为体,还需提前建设医疗等防御能力。法律、制度和实体防护往往需要多年才能完善,一旦智能爆炸开始,政策行动窗口可能迅速关闭。
(本文内容系“启元洞见”公众号原创编译,转载时请务必标明来源及作者)
参考来源:ArXiv学术论文预印本平台
参考题目:What if automating AI R&D triggers an intelligence explosion?
参考链接:https://arxiv.org/abs/2609.36054
