Story Text
人工智慧應用正從雲端延伸至終端與邊緣,邊緣設備面對的已不只是影像辨識,也包括大型語言模型、Agentic AI及Physical AI等複合工作負載。英特爾今(16)日表示,邊緣AI不一定要依賴外接GPU,透過CPU、GPU與NPU組成的異質運算架構,已能支援多種AI應用。根據英特爾測試,Core Ultra X7 358H對比NVIDIA Jetson AGX Orin 64GB,在4項邊緣AI工作負載中呈現效能優勢,最高達2.5倍。
英特爾邊緣運算事業群生態系發展部門總經理杜唯揚表示,英特爾從嵌入式系統、IoT到邊緣運算,已有約40年經驗。隨著電腦視覺、生成式AI及Agentic AI逐步成熟,AI應用正進一步走向Physical AI,讓機器人、無人機及其他智慧設備具備感知、推理與行動能力。
邊緣AI關鍵不只是模型,而是能否部署
杜唯揚指出,現在市場上的AI模型愈來愈多,企業真正面臨的問題,已從模型建立轉向模型選擇、系統整合及實際部署。
「現在創造新的Model其實不太是大問題,很多時候是Model選擇困難症,Model太多了。」他說,模型要真正落地,還需要適合的硬體、軟體與運算架構支援。
以傳統電腦視覺為例,物件偵測、影像分割與物件追蹤等工作,可能由GPU或整合式GPU處理;大型語言模型、視覺語言模型(VLM)及視覺語言動作模型(VLA),則會涉及CPU、GPU與NPU的協同運算。進入Agentic AI後,系統還要負責任務管理、流程協調與外部溝通,CPU仍扮演重要角色。
至於Physical AI,除了模型推論,還要同步處理攝影機、感測器、馬達及即時控制。因此,英特爾認為,邊緣系統不能只以單一GPU效能衡量,而要依照不同工作負載,在各個運算單元之間進行分工。
Core Ultra系列3對比Jetson Orin,4項測試最高2.5倍
英特爾簡報顯示,Core Ultra X7 358H與NVIDIA Jetson AGX Orin 64GB的比較測試,涵蓋影像分類、LLM延遲、端到-end影像分析及VLA模型。
其中,影像分類效能高出2.5倍;LLM延遲速度快1.7倍;影像分析的每美元效能高出2.2倍;VLA模型效能則快1.5倍。英特爾藉此強調,在部分邊緣AI應用中,整合式GPU已足以支應實際部署需求,企業不必一開始就配置獨立GPU。
不過,上述結果屬於英特爾測試數據,實際效能仍會受到模型、軟體、功耗與系統配置影響。英特爾官方資料另指出,Core Ultra系列3在其他測試中,LLM效能最高提升1.9倍、端到端影像分析每瓦每美元效能最高提升2.3倍,VLA模型吞吐量最高提升4.5倍;這些測試的比較平台與工作負載,與Jetson Orin測試並不相同。
Core Ultra系列3邊緣運算處理器採用Intel 18A製程,並通過嵌入式與工業應用認證,支援較寬廣的工作溫度範囲及24×7全天候運作。英特爾表示,透過CPU、GPU與NPU整合在單一系統單晶片(SoC)中,可減少額外硬體元件,進而降低功耗、系統複雜度及總持有成本(TCO)。
英特爾邊緣運算事業群生態系發展部門總經理杜唯揚。(英特爾提供)
Open Edge Platform串起硬體與軟體生態系
除了處理器,英特爾也將Open Edge Platform視為Edge AI策略的核心。杜唯揚表示,Open Edge Platform提供底層平台軟體、工具與函式庫,以及上層參考應用;Intel AI Edge Systems則提供標準化硬體藍圖、基準測試與驗證工具,協助OEM、ODM及解決方案供應商選擇適合的系統規模。
英特爾目前已推出6套Edge AI Suites,涵蓋城市交通、零售、教育、製造、機器人,以及醫療與生命科學等領域,另於今年7月底推出政府與航太AI開發套件預覽版。
開發者可依照Evaluate、Build、Deploy三階段推進。先以參考應用與基準測試評估系統能力,再利用工具與函式庫進行最佳化,最後將應用部署到商用環境。由於許多開發者原本就以PyTorch為基礎,英特爾希望降低既有模型與應用移植到Intel平台的門檻。
英特爾指出,目前已與約63家系統夥伴合作,建立155套系統;應用端則有約125家應用夥伴,完成137項應用。官方媒體資料也指出,英特爾與合作夥伴在全球已完成超過10萬個邊緣應用案例。
杜唯揚表示,Edge AI的競爭不只是單一晶片或GPU效能,而是系統、軟體、應用與合作夥伴能否共同完成商用部署。隨著Agentic AI及Physical AI逐步進入產業,英特爾將持續透過開放平台,協助企業把AI從模型推進到實際場域。