智能体规模化的底层逻辑:为何全栈协同设计至关重要

Google提出全栈协同设计理念,将芯片、内存、网络、存储与编排软件整体优化,以应对AI Agent长时运行带来的延迟、显存占用和空闲算力等成本问题。GKE推理网关可将TTFT降低70%,KV缓存分层策略可削减GPU使用时长近60%。

本文来自至顶网(www.zhiding.cn)。

AI智能体的大部分运行时间都用于等待,这会带来不小的基础设施成本。对话式聊天机器人通常在两轮对话之间等待用户输入,而智能体一旦工具返回结果就能立即启动下一步,由此形成一连串相互依赖的请求。聊天机器人一次只处理一个提示,下一个提示到来前的间隔是用户在思考,因此服务层可以把每个请求当作独立事件来处理,并通过增加副本来扩展。

而一个处理客户账单纠纷的智能体则以循环方式工作:它读取工单,调用账单系统,等待返回,再次进行推理,调用另一个工具,最后给出回复。这里的每一次暂停都是机器在等待另一台机器,每一轮都依赖于前一轮,任务可能持续数分钟甚至数小时。

基础设施必须在这些暂停期间保存智能体的状态,并让其上下文随时可用以进行下一步操作。如果按照聊天机器人的方式为智能体采购基础设施,企业实际上是在为"等待"本身付费。

增加并行硬件并不能消除各轮次之间的依赖关系。而这种等待会带来三项明确的成本。

延迟。十次耗时四秒的数据库查询会为一项任务增加40秒的延迟,更快的加速器并不能让这些查询更早返回结果。

加速器内存。智能体等待期间,其对话的工作内存(即KV缓存)可能仍驻留在加速器上,占用其他请求本可使用的容量;它也可能被转移到速度较慢的内存中以备后续检索,或者被直接丢弃并在需要时重新构建,从而重复计算。

闲置算力。加速器本身不必为等待单个智能体完成任务而空转,因为服务软件可以同时处理其他请求,但智能体的执行环境在等待工具响应期间,仍可能持续占用CPU和内存资源。

根据Omdia近期的一项研究,81%的企业表示智能体式AI是其IT和云战略中的优先事项,80%的企业将确保AI投入获得正向回报列为首要关切。该研究还发现,81%的企业认为将AI智能体规模化推向全面生产的复杂程度超出预期,61%的企业将智能体相关成本视为采用的主要障碍。

全栈协同设计是指围绕工作负载,将芯片、内存、网络、存储、服务软件和编排系统作为一个整体进行协同工程设计。以下四个问题说明了为何仅仅评估加速器本身,会忽略真正产生成本的环节。谷歌的AI超级计算机(AI Hypercomputer)可以作为每个问题的参考案例。

网关是否知道模型已在内存中保存了哪些内容?对智能体下一轮对话而言,最佳服务器往往就是已经保存该对话上下文的那台,因为其他服务器可能需要重新检索或重建这些上下文。懂得这一点的网关会据此进行路由,而不懂的网关则会让企业为每一轮不必要的重建付出代价。例如,GKE推理网关(GKE Inference Gateway)正是按此逻辑路由的,谷歌表示其预测性路由可将首Token生成时间(TTFT)降低最多70%。

智能体等待期间,其状态会发生什么?执行生成代码的智能体需要独立的隔离环境,而一个在等待工具调用返回结果期间闲置的环境仍然会产生成本。企业需要决定的是:为闲置的智能体持续付费,还是将其挂起,并接受恢复工作时出现的短暂延迟。例如,GKE智能体沙箱(GKE Agent Sandbox)提供了这种隔离能力,谷歌表示其每秒可分配300个沙箱,且延迟低于1秒。于2026年5月以开源形式发布的Agent Substrate,可以挂起闲置的智能体,并以亚秒级响应速度将其恢复。该工具目前已在GKE上开放,供评估和非生产环境使用。

循环中的哪个阶段运行在哪种芯片上?智能体循环的大部分工作是编排和工具调用,这些任务在普通CPU上就能很好地运行;推理加速器负责处理模型的提示处理和Token生成,而训练硬件则负责模型的改进迭代。如果整个循环都运行在最昂贵的硬件上,就意味着企业为本可由CPU完成的工作支付了加速器的价格。谷歌第八代TPU分为训练版本(TPU 8t)和推理版本(TPU 8i),两者预计都将于2026年晚些时候发布,此外还有Axion CPU和英伟达GPU可供选择。框架层面的支持使工作负载更容易迁移到TPU上,但其可移植性仍需采购方用自己的模型进行实际测试。

智能体的上下文存储在哪里,又能以多快的速度传回加速器?长时间运行的智能体积累的上下文量,可能会超出可用加速器内存的容纳能力。为了保留这些上下文以便复用,可能需要将部分KV缓存转移到成本更低的内存或存储中。这种往返传输的速度越慢,智能体在下一步推理前等待的时间就越长。在谷歌的测试中,将KV缓存保留在成本更低的内存层级,可将10000个Token提示的TTFT降低44%;而针对50000个Token的提示,将上下文卸载至Managed Lustre共享存储,可将GPU使用时长减少近60%。

这些决策之间相互影响:让上下文保持就近存储可能加快下一轮响应速度,但会占用更多内存;而释放资源虽能节省成本,却可能引入恢复延迟。协同设计的意义在于,将这些权衡在整个系统层面明确呈现出来,而不是孤立地优化单个组件。

上述性能数据均来自谷歌自身的测试。企业CIO应当要求供应商在自己的实际工作负载上重现这些结果,包括保留、迁移和重建状态所产生的全部成本。这四个问题本身也可以作为测试方案:衡量网关处的缓存命中率、被挂起智能体的恢复时间、每个硬件资源池产生的有效工作量,以及花费在等待存储上的时间。

在单一供应商体系内进行协同设计虽然能减少集成工作量,但如果各组件只能在该体系内良好协作,也可能形成新的技术孤岛。包括llm-d和Agent Substrate在内的开放组件有助于缓解这一担忧,但它们能否在其他环境中实现同等性能,仍有待验证。

因此,采购决策的核心问题也随之改变:企业不应再仅仅询问哪款加速器在基准测试中获胜,而应衡量在满足所需质量和响应时间要求的前提下,每花费一美元能够成功完成多少任务。供应商也应当基于采购方自身环境中的实测数据来回答这一问题。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论