ニュース本文
AI代理從回答問題走向呼叫工具、執行程式碼,雲端業者的擴建需求也從GPU延伸至CPU。 輝達(NVIDIA,NASDAQ:NVDA)與甲骨文(Oracle,NYSE:ORCL)宣布,計劃將搭載Vera Rubin NVL72系統的Oracle Cloud Infrastructure(OCI)超級叢集擴展至數百萬瓩、也就是數GW規模;同時,Vera Rubin NVL72與Vera CPU已在OCI正式開放使用,分別支援AI模型訓練、推論,以及代理執行任務時所需的運算工作。 這次合作的一項重點,是讓客戶能依工作負載分別擴充CPU與GPU資源。
當AI代理在模型呼叫之間執行工具、測試程式碼或擷取資料,若CPU處理速度跟不上,就可能拉長任務完成時間,讓GPU處於等待狀態。 雙方希望透過不同處理器與雲端資源的搭配,提高整體基礎設施使用效率。 Vera Rubin瞄準數GW擴建,單機架串聯72顆GPU 在大型AI模型訓練與推論端,OCI Supercluster將結合輝達NVL72機架級系統、Oracle Acceleron網路,以及相應的電力與冷卻設施。 每個機架透過NVLink連接72顆GPU,再由OCI多平面網路串聯更多機架,支援擴展至數十萬顆GPU的叢集架構。
其中,Oracle Acceleron搭配輝達Spectrum-X乙太網路,採用Spectrum-6交換器與BlueField-4資料處理器(DPU)。 對大型AI叢集而言,除了增加GPU數量,還需要讓處理器之間有效交換資料,才能支援跨機架的訓練與模型服務需求。 這項Vera Rubin擴建計畫,將建立在OCI既有的GB200與GB300 NVL72基礎設施之上。 輝達表示,共通的CUDA軟體基礎與持續最佳化,有助於客戶在不同世代硬體上支援演進中的模型與工作負載。
輝達也以OpenAI的既有部署說明叢集規模:在美國德州阿比林(Abilene),OpenAI利用搭載超過10萬顆Blackwell GPU的OCI Supercluster,訓練GPT-6 Astra並提供服務。 這是既有Blackwell平台的應用案例,後續Vera Rubin擴建則是雙方此次公布的新計畫。 OpenAI運算基礎設施工程主管Sreekanth Pothanis在新聞稿中表示:「隨著我們的前沿模型不斷進步,我們需要能跟上發展腳步的基礎設施。 」他指出,OCI上的Vera Rubin提供運算效能與規模,讓OpenAI能加速模型訓練,並處理需求日益提高的AI工作負載。
AI代理需要CPU執行工具,OpenAI將Vera投入正式環境 相較於模型訓練所需的大量GPU運算,AI代理在完成任務的過程中,也會反覆執行CPU密集型工作。 例如,代理產生程式碼後,需要在執行環境中測試;取得外部資料後,還要將結果交回模型,才能進行下一步判斷。 這些環節的處理速度,都會影響整個任務的完成時間。 依雙方說明,搭載Vera CPU的OCI Compute結合高單執行緒效能與高記憶體頻寬,前者用於加速個別工具呼叫及程式碼執行,後者則支援多項任務同時執行時的資料供應。 雙方表示,這些能力有助於減少GPU閒置時間,但此次新聞稿未提供具體改善幅度。
在資源調度方面,OCI Kubernetes Engine讓客戶能分別擴展CPU與GPU;Oracle Acceleron則為執行不受信任AI生成程式碼的工作負載,提供硬體層級隔離。 這讓代理執行環境的規劃,同時涵蓋運算效能、資源配置與隔離需求。 OpenAI是率先取得OCI上Vera CPU使用權限的客戶之一。 OpenAI運算技術長Uday Ruddarraju在新聞稿中指出,Vera CPU可支援快速成長的代理型沙盒工作負載,用來執行程式碼與運行工具。 他表示:「我們正在OCI上將Vera投入正式營運環境,以大規模支援這些工作負載。
」 規劃八GPU的Rubin NVL8,提供x86部署選項 除了NVL72機架級系統,OCI也計劃導入HGX Rubin NVL8,在x86伺服器配置中,透過NVLink連接八顆Rubin GPU,讓客戶能以較小規模採用新一代GPU技術,並維持與x86應用程式的相容性。 依公布規劃,該平台將搭載兩顆各具64核心的Xeon 6 CPU、4TB DDR5記憶體,以及頻寬達6.4Tbps的高速遠端直接記憶體存取(RDMA)網路,支援AI訓練、微調與推論。 相較於72顆GPU的機架級系統,八GPU配置提供另一種部署選擇;目前這項平台仍屬導入計畫,尚未公布正式開放時程。 對雙方而言,擴建之外,如何持續運用既有基礎設施也是合作重點。
輝達超大規模運算與高效能運算副總裁Ian Buck在新聞稿中表示,AI工廠除了提供運算能力,也需要隨軟體進步維持實用價值,並因應需求變化支援不同模型與工作負載。 從大型模型訓練、推論,到AI代理的程式碼與工具執行,這次合作擴大了OCI可提供的運算配置。 不過,數GW的Vera Rubin擴建仍是未來計畫;雙方此次尚未揭露具體容量、完成時程與投資金額,後續部署進度仍有待公布。