决策模型使用量激增,定制化会成为下一个竞争焦点吗

TechCrunch - AI
Decision模型在Vercel路由中占比超四分之一,微软发布Microsoft-Decision-1.1,初创公司Sqwish完成300万美元融资。多方认为,训练数据质量与持续调优是决定模型竞争力的关键,而非基准测试分数。

本文来自至顶网(www.zhiding.cn),来源 | TechCrunch - AI。

十月份,在Vercel的AI模型路由器上,超过四分之一的请求流向了决策模型,而非大语言模型——这对于一种仅在一个月前才被发明出来的计算智能类型而言,是一个惊人的使用份额。

决策模型是一类不产生输出Token的大语言模型;相反,它们经过调优,利用自身的通用智能在预设选项中快速、低成本地做出判断,同时记录对该选择的信心程度。这类模型在生产环境中非常实用,因为在这些场景下,快速决策往往比速度较慢、成本更高的前沿模型所提供的推理过程更为重要。

TypeSafe公司在发布其Jev系列模型后,估值达到75亿美元,该系列模型至今仍占据使用量的主导地位(至少从OpenRouter等服务可见的指标来看,上周TypeSafe的模型处理了超过15亿次查询)。

然而,制作一个决策模型并不难,在Jev问世后,数十个同类模型相继发布。亚马逊的一名工程师仅用一个周末就做出了一个,很快每家云计算巨头都有了自己的方案。周二,微软首席执行官萨提亚·纳德拉表示,公司将立即在Azure上全面推出其决策模型Microsoft-Decision-1.1。

这股浪潮在生态系统的两端同时上演:英国初创公司Sqwish是决策模型kettei fat的开发方,该公司今天宣布完成300万美元的种子前轮融资。联合创始人Ushnish Sengupta和Federica Freddi在剑桥读研究生时相识,当Jev问世时,他们正在开发小型大语言模型,随后意识到自己的架构可以被改造成强大的决策模型。

数据似乎是打造该类别成功模型的关键——TypeSafe首席执行官迪奥戈·阿尔梅达告诉TechCrunch,构建Jev最困难的部分在于利用经过统计调整的合成数据,精细校准模型的判断力。Sqwish同样也在使用合成数据,但其独特之处在于内置了训练后工具,可以利用客户自身的数据来提升模型的判断能力。

“我认为我们之所以不会沦为同质化产品,是因为我们为客户提供了同样的能力……他们可以持续上传自己的生产数据,就像我们训练自己的模型一样,他们的模型也能在自己关心的任务上持续进步,”首席执行官Ushnish Sengupta告诉TechCrunch。

要对决策模型进行排名颇为困难;Sqwish的“kettei fat”模型在部分基准测试中表现不错,但大多数该技术的开发者表示,真正的检验标准在于实际效果:开发者通常可以轻松地将一个模型替换为另一个,并观察其在特定场景下的表现。

“基准测试更像是一种邀请,让大家来试用这个模型,而持续的调优才是他们应该继续选择我们的原因,”Sengupta说道。

Microsoft-Decision-1.1模型同样是公司在成本、延迟、智能水平和校准精度之间精心权衡的结果。领导该项目的工程副总裁Achint Srivastava也认同,过度关注基准测试是一种误区。

“我们观察到,那些‘刷榜’的模型在真实的企业应用场景中很快就会表现不佳,”Srivastava在一封邮件中写道。“我们的测试结果凸显出,要在单一模型中同时实现准确性、可靠性、速度和成本效益有多么困难。即便是在反映真实使用场景的‘留出’或未见过的基准测试中进行评估,Microsoft-Decision-1.1和Jev也是少数能在这四个维度上都表现出色的模型。”

对于像Sqwish这样的初创公司而言,与云计算巨头和前沿实验室的竞争恰恰是一种机遇。Freddi预测,未来的系统将会出现所谓的“系统一”智能(如决策模型)与“系统二”智能(如前沿大语言模型)协同工作的局面。

“即便在那样的未来里,‘系统一’或许也只是一个100亿到500亿美元规模的市场机会,而OpenAI正在筹划的IPO,心里想的可是一万亿、两万亿美元的市值,”她告诉TechCrunch。“这对我们来说就是全部的重心所在;而对他们来说,这不过是个附带项目罢了。”

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论