本文来自至顶网(www.zhiding.cn),来源 | TechCrunch - AI。
十月份,在Vercel的AI模型路由器上,超过四分之一的请求流向了决策模型,而非大语言模型——这对于一种仅在一个月前才被发明出来的计算智能类型而言,是一个惊人的使用份额。
决策模型是一类不产生输出Token的大语言模型;相反,它们经过调优,利用自身的通用智能在预设选项中快速、低成本地做出判断,同时记录对该选择的信心程度。这类模型在生产环境中非常实用,因为在这些场景下,快速决策往往比速度较慢、成本更高的前沿模型所提供的推理过程更为重要。
TypeSafe公司在发布其Jev系列模型后,估值达到75亿美元,该系列模型至今仍占据使用量的主导地位(至少从OpenRouter等服务可见的指标来看,上周TypeSafe的模型处理了超过15亿次查询)。
然而,制作一个决策模型并不难,在Jev问世后,数十个同类模型相继发布。亚马逊的一名工程师仅用一个周末就做出了一个,很快每家云计算巨头都有了自己的方案。周二,微软首席执行官萨提亚·纳德拉表示,公司将立即在Azure上全面推出其决策模型Microsoft-Decision-1.1。
这股浪潮在生态系统的两端同时上演:英国初创公司Sqwish是决策模型kettei fat的开发方,该公司今天宣布完成300万美元的种子前轮融资。联合创始人Ushnish Sengupta和Federica Freddi在剑桥读研究生时相识,当Jev问世时,他们正在开发小型大语言模型,随后意识到自己的架构可以被改造成强大的决策模型。
数据似乎是打造该类别成功模型的关键——TypeSafe首席执行官迪奥戈·阿尔梅达告诉TechCrunch,构建Jev最困难的部分在于利用经过统计调整的合成数据,精细校准模型的判断力。Sqwish同样也在使用合成数据,但其独特之处在于内置了训练后工具,可以利用客户自身的数据来提升模型的判断能力。
“我认为我们之所以不会沦为同质化产品,是因为我们为客户提供了同样的能力……他们可以持续上传自己的生产数据,就像我们训练自己的模型一样,他们的模型也能在自己关心的任务上持续进步,”首席执行官Ushnish Sengupta告诉TechCrunch。
要对决策模型进行排名颇为困难;Sqwish的“kettei fat”模型在部分基准测试中表现不错,但大多数该技术的开发者表示,真正的检验标准在于实际效果:开发者通常可以轻松地将一个模型替换为另一个,并观察其在特定场景下的表现。
“基准测试更像是一种邀请,让大家来试用这个模型,而持续的调优才是他们应该继续选择我们的原因,”Sengupta说道。
Microsoft-Decision-1.1模型同样是公司在成本、延迟、智能水平和校准精度之间精心权衡的结果。领导该项目的工程副总裁Achint Srivastava也认同,过度关注基准测试是一种误区。
“我们观察到,那些‘刷榜’的模型在真实的企业应用场景中很快就会表现不佳,”Srivastava在一封邮件中写道。“我们的测试结果凸显出,要在单一模型中同时实现准确性、可靠性、速度和成本效益有多么困难。即便是在反映真实使用场景的‘留出’或未见过的基准测试中进行评估,Microsoft-Decision-1.1和Jev也是少数能在这四个维度上都表现出色的模型。”
对于像Sqwish这样的初创公司而言,与云计算巨头和前沿实验室的竞争恰恰是一种机遇。Freddi预测,未来的系统将会出现所谓的“系统一”智能(如决策模型)与“系统二”智能(如前沿大语言模型)协同工作的局面。
“即便在那样的未来里,‘系统一’或许也只是一个100亿到500亿美元规模的市场机会,而OpenAI正在筹划的IPO,心里想的可是一万亿、两万亿美元的市值,”她告诉TechCrunch。“这对我们来说就是全部的重心所在;而对他们来说,这不过是个附带项目罢了。”
