分析发现 ‘推理’ AI 模型性能提升可能很快放缓

Techcrunch
Epoch AI 分析指出,以推理为核心的 AI 模型(如 OpenAI 的 o3)近年来虽取得显著进步,但因强化学习阶段所需的庞大运算和高昂研究成本,未来性能提升可能放缓,预计到2026年将趋向封顶。

本文来自至顶网(ai.zhiding.cn),来源:Techcrunch。

Epoch AI分析指出,以推理为核心的AI模型(如OpenAI的o3)近年来虽取得显著进步,但因强化学习阶段所需的庞大运算和高昂研究成本,未来性能提升可能放缓,预计到2026年将趋向封顶。

Epoch AI(非盈利AI研究机构)的一项分析表明,AI行业可能无法长期从推理AI模型中获得大幅性能提升。报告发现,推理模型的进展可能最快在一年内出现放缓。

例如OpenAI的o3等推理模型在近几个月内在AI基准测试中取得了显著进步,特别是在测评数学和编程技能的测试中。这些模型能够将更多计算资源(computing)应用于问题,从而提升性能,但缺点是完成任务所需的时间比传统模型更长。

推理模型的开发流程是先利用海量数据训练一个传统模型,然后应用称为强化学习(reinforcement learning)的技术,该技术能有效为模型在解决难题时提供“反馈”。

据Epoch指出,截至目前,像OpenAI这样的前沿AI实验室尚未在推理模型训练的强化学习阶段投入大量计算资源。

情况正在改变。OpenAI表示,在训练o3时所使用的计算资源大约是其前身o1的10倍,Epoch推测这其中的大部分计算资源都用于了强化学习。OpenAI研究员Dan Roberts最近透露,公司未来计划将强化学习作为优先方向,投入的计算资源将远超初始模型训练所需的量。

不过,据Epoch称,在强化学习中可投入的计算资源仍然存在上限。

Epoch分析师及该报告作者Josh You解释说,传统AI模型训练带来的性能提升目前每年大约提升四倍,而强化学习带来的性能增长在3到5个月内可实现十倍增长。他进一步指出,推理训练的进展“很可能在2026年与前沿水平趋于一致”。

Epoch的分析基于若干假设,并部分采纳了AI公司高管的公开评论。但分析也论证了,推理模型的扩展可能因除计算资源以外的原因而面临挑战,其中包括研究所需的高昂固定成本。

Josh You写道:“如果研究需要持续的固定开销,推理模型可能无法按照预期大幅扩展。快速扩展计算资源可能是推动推理模型进步的一个非常重要因素,因此值得密切关注。”

任何迹象表明推理模型在不久的将来可能达到某种上限,都可能让已在这类模型研发上投入巨大资源的AI行业感到担忧。研究已表明,虽然推理模型的运行成本极高,但它们存在严重缺陷,例如比某些传统模型更容易产生误导性信息。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论