新闻笔记 · IDAEO AI News

#新闻媒体

辉达CUDA生态系遇挑战!Google、亚马逊从软件下手 98%模型免大幅改写

发布者:

TL;DR · 这代表什么

Google自研人工智能(AI)芯片Tensor Processing Unit (TPU)正式扩大进入外部企业的运算环境,并已在Meta Platforms (META-US)数据中心投入AI推论服务。

(摘自原文导言,非改写)

新闻正文

完整中文翻译制作中,以下为原文。

Google自研人工智能(AI)芯片Tensor Processing Unit (TPU)正式扩大进入外部企业的运算环境,并已在Meta Platforms (META-US)数据中心投入AI推论服务。

Alphabet (GOOGL-US)旗下Google与Meta合作开发TorchTPU,让原本以辉达 (NVIDIA) (NVDA-US) GPU及CUDA软件平台为主的PyTorch模型,能以更低的移植成本运行于Google TPU。另一方面,亚马逊 (Amazon) (AMZN-US)也推出开源工具TorchNeuron,支持自家Trainium AI芯片。两大科技业者同步从硬件与软件切入,降低企业转换AI芯片的难度,辉达长期创建的软件生态系优势正面临新的竞争压力。

根据《Tom's Hardware》10月22日报导,Meta已通过新版SGLang推论引擎SGLang-TorchTPU,在实际生产环境中使用Google TPU运行AI工作负载。这套系统由Google、Meta及SGLang团队共同开发,负责SGLang技术的RadixArk也参与合作。Meta PyTorch-TPU负责人Zongwei Zhou表示,这套引擎已在Meta投入生产使用,提供相当成熟、原生支持PyTorch的服务架构。

Google也同步开源另一套支持TPU的vLLM推论引擎版本。SGLang与vLLM都是大型语言模型常用的推论工具,让模型在完成训练后,能够根据用户的提示生成文本、回答问题或运行其他AI任务。过去这些工具在Google TPU上运行时,主要依赖Google自家的JAX机器学习框架;新版本则让TPU能更直接地支持PyTorch,大幅降低开发者为了转换硬件而重新编写程序的需求。

Meta PyTorch工程主管Jana van Greunen指出,Meta不能受到单一硬件架构限制,TorchTPU让公司能将既有PyTorch工作负载部署至Google TPU。这项合作也反映Meta正积极分散AI运算硬件来源,避免过度依赖单一芯片供应商。

PyTorch是目前全球AI模型开发、训练及推论最广泛使用的框架之一。根据《The Elec》报导,全球约85%的AI应用程序开发者使用PyTorch。由于PyTorch早期与辉达GPU及CUDA开发平台深度集成,开发者长期累积的程序、工具与工程经验,形成辉达的重要竞争壁垒。即使其他厂商推出性能具竞争力的AI芯片,企业仍可能因为转换成本高、需要重新调整程序,以及缺乏成熟软件工具而选择继续使用辉达产品。

Google与Meta共同开发的TorchTPU,正是为了解决这项问题。Google表示,超过98%的既有PyTorch模型,只需将程序中的设备设置改为「model.to("tpu")」,便能在TPU上运行。依模型复杂程度不同,转换时间约从几分钟到数天不等,无须全面改写程序。Google也希望让TPU在PyTorch内核层级成为与GPU及中央处理器(CPU)并列的运算选项。

亚马逊则在10月20日于美国加州圣荷西举行的PyTorch Conference 2026上,公布自家开源工具TorchNeuron,让以PyTorch开发的AI模型直接运行于AWS的Trainium2及Trainium3芯片。开发者只需修改少数设备设置,将原本指向辉达CUDA的设置改为AWS Neuron,即可尝试在Trainium上运行既有模型,不必从头重写整套应用程序。

TorchNeuron目前已通过GitHub以公开测试版形式发布,采用Apache 2.0开源授权。亚马逊也将部分代码直接贡献给PyTorch主开源项目,希望通过更广泛的开发者参与,持续改善自家芯片的软件支持。

过去,将针对辉达GPU生态系优化的AI应用程序移植至Google或亚马逊的自研芯片,通常至少需要数天,复杂项目甚至可能耗时数月。TorchTPU与TorchNeuron的推出,预期可降低这些时间及人力成本,让企业更容易比较不同芯片的运算性能、能源效率与价格,而不必因为软件兼容性问题被迫留在原有平台。

Google扩大TPU业务并非突然转向。过去Google主要将自研TPU用于内部AI服务,或通过Google Cloud提供云端算力租用。随着外部客户对AI芯片的需求上升,Google已开始将TPU供应给客户自有数据中心。Google母公司Alphabet财务长Anat Ashkenazi今年7月曾表示,公司在第二季首次向客户数据中心交付TPU,并开始认列少量相关订单收入,预期2027年认列的收入将进一步增加。

Meta也早已评估Google TPU的使用方式。根据先前报导,双方曾讨论在2026年租用Google Cloud TPU,并于2027年采购芯片部署在Meta自己的数据中心,Meta之后也传出签署多年期租用协议。不过,目前公开信息尚未完整揭露Meta实际部署的TPU数量、具体位置及相关采购金额。

这并非Meta首次使用Google TPU。2020年至2023年间,Meta研究团队曾通过PyTorch/XLA桥接工具使用TPU,后来相关合约取消。Google此次推出TorchTPU,则进一步针对Meta不希望为了使用TPU而转换至JAX框架的需求设计,试图直接降低既有PyTorch环境的移植门槛。

在性能方面,Google TPU也开始展现竞争潜力。由vLLM创办团队成立的Inferact协助Google开发vLLM-TorchTPU,并测试以Google第七代Ironwood TPU运行Moonshot AI开源模型Kimi K3。该模型拥有2.8兆参数,测试使用16颗Ironwood TPU搭配推测解码(speculative decoding)技术,单一用户的生成速度超过每秒700个token。

作为比较,辉达GB200的公开测试配置同样使用16颗芯片,通过vLLM运行相同模型时,生成速度为每秒452个token。不过,两组测试的软件设置与加速方式不完全相同,因此不能直接据此认定TPU在所有工作负载下都优于GB200。

此外,相关测试指出,针对Kimi K3及Qwen 3.8 27B模型优化的特定运算内核,在小批量处理情境下,即使不使用推测解码,吞吐量仍约为GB200基准配置的1.4至2倍。这些结果显示,TPU在特定模型与工作负载上具备竞争力,但实际表现仍会受到模型结构、批量大小、软件优化及硬件配置影响。

RadixArk表示,SGLang-TorchTPU将持续增加支持模型,初期规划纳入DeepSeek V4.1 Flash及Reflection Beam,并朝2027年第一季实现新开源模型发布当天即可支持TPU的目标推进。Google、Meta与RadixArk也计划于11月12日至13日在美国旧金山举行的SGLang Summit 2026分享更多进展。

Google与亚马逊的策略,内核都是削弱辉达CUDA平台带来的软件黏着度。辉达的竞争优势不只来自GPU性能,也包括成熟的CUDA工具、开发者社群、程序库及长期累积的应用支持。企业若要转换芯片,过去往往必须承担额外工程成本与产品部署风险;当软件移植变得容易,客户就更有条件依照性能、能源效率、价格及供应状况选择硬件。

不过,软件工具降低转换门槛,不代表辉达的市场地位会立即被取代。不同AI模型对硬件的需求差异很大,企业仍须逐一验证模型兼容性、实际性能、成本及稳定性。大型AI训练工作负载也涉及大量芯片互连与整体系统设计,不能只靠代码修改就完全消除转换难题。

随着Google TPU、亚马逊Trainium及其他自研AI加速器持续发展,AI芯片市场的竞争正从单纯比较硬件规格,延伸至软件框架、开发者体验与整体运算成本。Meta将TPU投入生产环境,则为Google提供重要的实际应用案例。若TorchTPU与TorchNeuron能持续扩大模型支持并证明成本效益,企业采用非辉达芯片的阻力有望进一步降低,AI运算市场也可能从过去高度集中於单一生态系,逐步走向更多硬件平台并存的竞争格局。

引用级事实单元(F-Units)

Google自研人工智能(AI)芯片Tensor Processing Unit (TPU)正式扩大进入外部企业的运算环境,并已在Meta Platforms (META-US)数据中心投入AI推论服务。

F1 本站收录原文的原句(仅去排版记号与多余空白)· 第 1 段 · 鉅亨網 来源类别:未分类(尚未核实)

根据《Tom's Hardware》10月22日报导,Meta已通过新版SGLang推论引擎SGLang-TorchTPU,在实际生产环境中使用Google TPU运行AI工作负载。

F2 本站收录原文的原句(仅去排版记号与多余空白)· 第 3 段 · 鉅亨網 来源类别:未分类(尚未核实)

根据《The Elec》报导,全球约85%的AI应用程序开发者使用PyTorch。

F3 本站收录原文的原句(仅去排版记号与多余空白)· 第 6 段 · 鉅亨網 来源类别:未分类(尚未核实)

Google表示,超过98%的既有PyTorch模型,只需将程序中的设备设置改为「model.to("tpu")」,便能在TPU上运行。

F4 本站收录原文的原句(仅去排版记号与多余空白)· 第 7 段 · 鉅亨網 来源类别:未分类(尚未核实)

亚马逊则在10月20日于美国加州圣荷西举行的PyTorch Conference 2026上,公布自家开源工具TorchNeuron,让以PyTorch开发的AI模型直接运行于AWS的Trainium2及Trainium3芯片。

F5 本站收录原文的原句(仅去排版记号与多余空白)· 第 8 段 · 鉅亨網 来源类别:未分类(尚未核实)

常见问题(FAQ)

這則新聞的重點是什麼?

Google自研人工智能(AI)芯片Tensor Processing Unit (TPU)正式扩大进入外部企业的运算环境,并已在Meta Platforms (META-US)数据中心投入AI推论服务。

原文提到哪些關鍵數字?

根据《Tom's Hardware》10月22日报导,Meta已通过新版SGLang推论引擎SGLang-TorchTPU,在实际生产环境中使用Google TPU运行AI工作负载。 根据《The Elec》报导,全球约85%的AI应用程序开发者使用PyTorch。

這則新聞的原始出處與發布時間?

原始出處:鉅亨網(https://news.cnyes.com/news/id/6636425)。原文發布時間:2026-10-23。