AI模型規模持續膨脹，所需算力已不是一座機房能夠容納。 Google AI與基礎架構資深副總裁暨首席技術專家Amin Vahdat（瓦赫達特）今（2）日在SEMICON Taiwan 2026開幕主題演講中表示，Google已透過TPU Superpod、資料中心網路及跨區域廣域網路等三層架構，支援100萬顆TPU共同執行單一工作；其中，光路交換器可在設備故障時即時重新配置網路，將原本可能長達數小時的運算中斷時間縮短至數秒。 Vahdat指出，AI運算所需的網路創新橫跨不同尺度，從晶片內部的奈米級連線、機架與資料中心之間的公尺級網路，一路延伸至跨資料中心、跨洲乃至全球尺度。

當數千、數萬甚至百萬顆加速器必須同步處理同一工作，決定效能的不再只是單顆晶片速度，資料能否及時抵達正確位置，也成為限制AI算力擴張的關鍵。 「正是網路讓這件事成為可能。 」Vahdat表示，模型參數增加雖能持續降低測試損失、提高模型準確度及解題能力，但模型規模愈大，需要同步參與運算的晶片就愈多，必須依靠更高頻寬、更低延遲且具備故障容錯能力的網路串聯。 第一層：單一Superpod整合9,600顆TPU Google三層AI網路架構的第一層，是由TPU 8t組成的Superpod。

單一Superpod包含144個機架、9,600顆TPU，透過高速晶片間互連（Inter-Chip Interconnect，ICI）共享2 PB高頻寬記憶體，並提供121 Exaflops運算能力。 Vahdat表示，這9,600顆TPU不是各自執行獨立工作，而是以接近奈秒的時間尺度進行協調，同步處理同一項大型訓練任務。 TPU 8t採用3D Torus（三維環狀網路）架構，每顆TPU分別連接前後、左右及上下方向的相鄰晶片，使資料能夠沿著不同方向在整個Superpod中傳遞。 Google也將相當於一台中型乙太網路交換器的網路功能整合進每顆TPU，讓運算核心與網路更靠近，以降低延遲及電力消耗。

Vahdat指出，資料搬移已是晶片與資料中心最主要的能耗來源之一，網路設計若無法降低傳輸距離，再多運算單元也可能因等待資料而閒置。 256面微型反射鏡改變光路 故障中斷縮至數秒 為串聯144個機架，Google把每個機架的光纖連接至中央光路交換器（Optical Circuit Switch，OCS）。 一套光路交換器約包含256面微型反射鏡，集中在約一根手指大小的晶片上，並透過馬達控制反射鏡的三維角度，將輸入光線導向指定輸出埠。 與傳統封包交換器不同，光路交換器不必進行光—電—光轉換，也不需要逐一處理網路封包，因此本身耗電量僅以瓦計算。 系統還能以程式控制反射鏡方向，動態改變不同機架間的實體連線。

當機架、晶片或網路元件故障時，Google可即時重新配置拓撲，把故障元件排除在運算路徑之外，讓系統在數秒後繼續運算；相較之下，若必須立即停機並等待人員完成實體維修，即使在理想狀況下也可能中斷數小時。 Vahdat說，系統恢復運作後，維修人員可在適當時間處理故障設備，而不需要讓整個大型訓練工作持續停擺。 換言之，縮短至數秒的是運算中斷時間，並非實體設備的維修時間。 TPU 8i改採Boardfly 降低全對全通訊延遲 針對推論、強化學習及混合專家模型（Mixture of Experts，MoE），Google則在TPU 8i導入名為Boardfly的新型網路拓撲。

大型模型執行All-Reduce及All-Gather等集合通訊時，需要不同TPU彼此交換及彙整資料。 傳統3D Torus適合相鄰晶片間的大量傳輸，但在全對全通訊情境下，資料可能必須經過較多中繼節點，增加延遲。 Boardfly透過階層式、高基數的連線設計，減少資料跨越整個系統所需的跳數。 Vahdat在演講中表示，這項設計可使TPU彙整資料所需時間降低約一半。 Google官方技術資料則顯示，Boardfly可將1,024顆晶片系統的最大網路距離由16跳降至7跳，使網路直徑縮短56%；TPU 8i另搭配集合通訊加速引擎，使晶片內集合運算延遲最高降低5倍。

第二層：Virgo在單一資料中心串聯逾10萬顆TPU 當9,600顆TPU仍不足以負擔大型模型，Google再以資料中心網路串聯多座Superpod，形成第二層運算架構。 Vahdat表示，Google從20年前的Firehose 1.0一路發展至最新Virgo網路，Virgo可提供47 Pb／s頻寬，使接近10萬顆TPU進行無阻塞資料交換，讓約10座Superpod能以接近全速互相通訊。 Google官方公布的完整規格則顯示，Virgo採用扁平化Fabric架構，每顆加速器可取得的頻寬較前一代提高4倍，單一資料中心、單一Fabric最多可連接13.4萬顆TPU。

47 Pb／s代表每秒47千兆位元的網路頻寬，而非47 PB儲存容量；換算後約等於每秒5.875 PB資料。 如此龐大的傳輸能力，是讓大量TPU同步運作、避免部分晶片因等待資料而拖慢整體訓練的關鍵。 第三層：跨資料中心串成百萬顆TPU訓練叢集 即使單一資料中心可容納逾10萬顆TPU，最先進模型的需求仍可能超出一個站點所能提供的電力、土地及設備容量。 因此，Google再透過廣域網路、全球光纖及海底電纜，把分布於不同地區的資料中心連接起來。

整套架構可分為三個層級：Superpod層級約1萬顆TPU、單一資料中心層級約10萬至13.4萬顆TPU，跨資料中心後則可擴大至100萬顆以上TPU，並由Pathways與JAX等軟體協調成單一訓練叢集。 Vahdat表示，Google目前已能支援100萬顆TPU大規模協同處理單一工作。 這代表AI超級電腦的界線已不再由一座機房或一座園區決定，而是透過網路把全球分散的運算設施整合為一套系統。 光學整合將一路深入晶片封裝 Vahdat預期，代理式AI將使程式在內部迴圈中不斷呼叫模型，運算與資料交換需求只會進一步加速。

面對持續增加的封裝尺寸及輸入輸出瓶頸，晶粒對晶粒互連（Die-to-Die）、記憶體控制器、高速SerDes、記憶體近端運算及更深入封裝內部的光學整合，都將成為下一階段硬體創新的重點。 對台灣供應鏈而言，百萬顆AI晶片叢集帶來的商機不只在加速器本身，也將擴及高速交換器、矽光子、共同封裝光學（CPO）、光模組、先進封裝、HBM、液冷及測試。 當AI模型大到一座資料中心也裝不下，如何讓跨晶片、跨機架乃至跨洲資料維持高速流動，將與晶片運算效能同樣重要。