当前位置:首页 / 智造 / 正文

腾讯云四季度部署NPO超级节点:用光互连把AI推理成本打下来

来源:互联网

大模型推理成本能不能再往下压?腾讯云给出的答案是:从「电互连」转向「光互连」。在刚刚结束的世界人工智能大会(WAIC)分论坛上,腾讯云高管透露了两个关键动作:一是今年第四季度部署NPO(近封装光学)超级节点,二是在此之前大规模导入国产化算力。

NPO是个什么东西?

简单说,NPO(Near-Packaged Optics)是一种把光模块放到离芯片封装更近位置的技术方案。传统数据中心里,光模块和交换芯片之间隔着PCB板上的铜线,信号传输距离越长,功耗和延迟就越高。NPO的思路是直接把光学引擎贴到芯片封装旁边,缩短电信号走线长度,从而大幅降低每比特传输的能耗。

这个技术能不能真正落地,一直是光通信圈争论的焦点。一派觉得NPO牺牲了光模块的可插拔性,维护成本太高;另一派认为,当交换芯片带宽从51.2T往102T甚至更高走的时候,传统可插拔方案的功耗已经扛不住了,NPO是唯一出路。

腾讯云站了后一派。

为什么要在意推理成本?

腾讯云的表态其实点出了一个越来越紧迫的问题:大模型商业化能不能跑通,关键不只在训练,更在推理。训练是一次性投入,推理是持续烧钱。如果每次对话、每次API调用都在亏钱,用户量越大亏得越狠。

目前业内降低推理成本的手段主要集中在几个方向:模型量化、稀疏化、投机采样,还有专用推理芯片。但腾讯云这次把目光投向了更底层的互联技术——与其让GPU算得快、数据传得慢,不如从根上打通数据传输的瓶颈。

而且腾讯云说得也很明确:「为了将推理成本降低到极致,公司会大规模部署国产化算力。」这句话把两个逻辑串在了一起:国产芯片用更低的单位成本提供相似性能,NPO光互连让国产芯片集群之间的通信效率追平甚至超过传统方案。一加一减,推理成本就能实打实降下来。

呼吁统一标准,说明行业还没准备好

有意思的是,腾讯云在宣布部署计划的同时,公开呼吁「国内外统一NPO行业标准」。这个表态本身就说明NPO现在还处于各搞各的阶段。光模块厂商、交换芯片厂商、系统集成商各有各的技术路线,谁也不愿意先放弃自己的专利壁垒去兼容别人。

但没有统一标准,NPO就做不大。一旦各家方案不互通,数据中心运维复杂度会指数级上升——你不可能在同一个机房里同时维护三种不同的NPO接口。

不止腾讯,整个行业都在押注

腾讯不是唯一在推光互连的。华为、阿里也在做类似的布局,海外的英伟达、博通更是走得靠前。只不过每家的技术路线不太一样:有的押CPO(共封装光学,光引擎直接和芯片封在一起),有的押NPO(光引擎贴近封装但不合并),还有的继续改进传统可插拔方案。

对腾讯云来说,选择NPO而不是CPO,可能跟国产化算力策略有关。NPO方案的光模块仍然可以独立更换,灵活性更高——如果用国产芯片搭国产光模块,整套方案的可控性会更强。

北京方面也在同步加码。市经信局披露,下半年将新增智能算力5万P,年内总算力规模要突破13万P,同时还计划推出Token经济政策,围绕Token的生产、分发和应用布局基础设施。底层算力扩张叠加光互连升级,大模型推理成本的下降曲线,可能比市场预期的要陡得多。

声明:

1、凡本网注明“来源:XXX(非科极网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,丰富网络文化,此类稿件并不代表本网赞同其观点和对其真实性负责。

2、如因作品内容、版权和其他问题需要与本网联系的,请在该事由发生之日起30日内进行。