蘋果( AAPL-US ) 研究團隊近日公開人形機器人自主控制系統HALO的最新研究成果，透過視覺語言模型（VLM）與動作生成技術，讓機器人不只能理解人類指令，還能依據陌生環境調整動作，自主完成推箱子、坐椅子及穿越障礙物等任務。

研究團隊近日在預印本平台arXiv發表論文《Perceptive Humanoid Motion from Simulation》，介紹HALO系統的設計與實驗成果，並將系統部署在宇樹科技( 688836-CN ) 的G1人形機器人上進行驗證。

研究重點在於讓機器人將模擬環境中學到的動作，應用於未曾事先掃描或建圖的真實空間，降低機器人對特定環境的依賴。

根據研究團隊公開的展示影片，搭載HALO的G1機器人能依照指令推動箱子、跟隨人類、坐上椅子，也能側身穿過半開的門，或彎腰、爬行通過桌子下方。這些動作不只是預先設定好的路徑，還涉及環境辨識、空間判斷，以及依照障礙物調整身體姿態。

HALO 採三層架構控制機器人 從理解指令到執行動作

HALO的核心設計是將機器人的控制流程拆分為任務編排、動作生成與動作追蹤三個層級，分別處理指令理解、全身動作規劃及實際關節控制。

最上層的任務編排模組採用視覺語言模型，預設使用阿里巴巴( 09988-HK ) 的Qwen3.6-35B-A3B，並在機器人搭載的Mac mini上本地運行，無須連接網路即可處理任務。系統也支援透過API呼叫雲端模型，以取得更強的推理與規劃能力。

這個模組負責理解人類指令，並結合機器人視角的影像判斷如何完成任務。例如，當收到「坐下」的指令時，機器人必須先辨識周遭環境，決定適合坐下的位置；若接獲「坐到椅子上」的指令，但前往椅子的路徑受到桌子阻擋，就必須將任務拆解為彎腰通過障礙、接近椅子及坐下等連續動作。

任務執行期間，模組也會持續透過機器人視角的影片確認動作是否成功，再決定推進下一個步驟或重新嘗試，每次僅向下一層下達一項明確的子任務。

中間層的動作生成模組則使用另一款模型Qwen3.5-2B，搭配負責生成動作的DiT解碼器，根據環境畫面與當前任務，規劃未來約5秒的全身動作。系統每秒重新規劃約3次，讓機器人能隨著環境變化持續修正動作。

最底層的動作追蹤器經過強化學習與策略蒸餾等程序訓練，以每秒50次的頻率運作，結合深度影像與機器人自身狀態，將上層規劃的動作轉換為實際關節控制指令。

6 種陌生環境測試成功率 91% 複合任務仍有改善空間

在實際測試方面，研究團隊選擇6個未經事先掃描或建圖的真實環境，進行360次單項任務測試，平均成功率達91%。

不過，當任務涉及多個連續動作時，系統的表現仍有落差。研究團隊另外在單一真實環境中，針對3種複合任務各進行10次測試，平均成功率為70%。

其中，「彎腰通過障礙物、走向目標、推動箱子」這項連續任務的成功率僅50%，顯示機器人處理多步驟動作時仍面臨挑戰。

為了訓練機器人適應不同環境，研究團隊建立一套大規模合成資料生成流程，在1,000個程式生成的模擬家庭環境中，製作約300小時的主要訓練資料，將機器人看到的畫面、接收的指令及對應動作配對。

資料生成流程分為幾個階段：首先依照文字指令產生動作序列，再將動作放入虛擬房間，最後透過模擬工具渲染機器人執行任務時看到的畫面。

以「坐到扶手椅上」為例，系統會先將任務拆解為向前行走、轉身及坐下等動作片段，再由動作生成模型根據文字提示、路徑點與關鍵姿態產生動作序列，並透過幾何檢查篩選結果，降低腳部滑動或身體穿入地面等不合理動作。

接著，研究團隊將動作安排在不同的虛擬房間，檢查機器人與家具之間的位置關係，排除可能發生碰撞的配置，再渲染機器人視角的畫面。訓練過程也會調整光線、色調及影像模糊程度，增加視覺資料的多樣性，讓同一套流程能產生完整的指令、影像與全身動作訓練資料。

在運算資源方面，研究團隊使用250張輝達( NVDA-US ) H100 GPU，耗時約48小時完成主要訓練資料的合成；動作生成器採用模仿學習訓練，使用64張B200 GPU；動作追蹤器則透過強化學習、策略蒸餾等方式訓練，使用4張H100 GPU。

仍仰賴人工設計 觸覺感知成下一步改進方向

不過，HALO目前仍未完全擺脫人工參與。研究團隊指出，新增物理任務時，仍須由人員編寫提示詞、設計動作關鍵影格，部分動作也需要使用人類影片或動作捕捉素材。

此外，現階段系統主要依賴視覺感知，尚難以直接掌握接觸狀態。當物體離開攝影機視野或遭到遮擋時，涉及較多身體接觸的任務，執行表現便會下降。

研究團隊將觸覺感知列為後續改進方向，希望進一步提升機器人在複雜環境中的動作控制能力。