Google( GOOGL-US ) DeepMind 推出新一代世界模型 Genie 4，讓人工智慧（AI）生成技術從製作影片進一步邁向可即時探索、互動的虛擬環境。使用者只需輸入文字提示，就能建立虛擬場景，並在運行過程中改變天氣、加入人物與物體，甚至與虛擬角色對話。不過，目前單次模擬仍僅能維持約 2 分鐘，長時間運行的場景一致性也有待改善。

相較於傳統影片生成模型主要產出預先決定的影像內容，Genie 4 能根據使用者的操作持續生成後續畫面，並結合聲音、物理模擬與角色行為，讓虛擬世界隨著互動不斷變化。

這項技術的另一項關鍵進展，是 Google 將 Gemini 模型引入世界模擬，由語言模型負責規劃與推理，Genie 4 則負責生成環境，為 AI 代理（AI Agent）與機器人訓練提供新的發展方向。

Genie 4 將影片生成轉向即時互動 單次模擬可達 2 分鐘

Google DeepMind 自 2024 年推出 Genie 以來，持續探索 AI 如何從影片中學習環境與動作之間的關係。後續版本逐步擴展至可探索的3D環境，Genie 3 則進一步實現即時生成與互動。

此次 Genie 4 再提升畫面真實感、物理模擬及互動能力，單次模擬時間也延長至約 2 分鐘。

根據展示內容，使用者只需輸入文字，就能建立可探索的虛擬世界，並透過鍵盤控制角色、調整鏡頭，或在模擬進行期間繼續下達指令，改變原有場景。

例如，使用者可以先生成一座由馬匹與機器人共同生活的新哥德式粗獷主義城市，再加入巨龍或友善的水獺角色。

華頓商學院教授Ethan Mollick便展示類似的實測成果，呈現模型從文字提示建立場景，再依照後續指令增加內容的能力。

創投公司 a16z 投資人Justine Moore也展示在 AI 即時生成的城市中自由探索的情境。這類模擬不必事先製作完整的3D地圖，也不受限於固定的場景演出，而是根據使用者的操作持續生成後續內容。

在物理模擬方面，Google 展示了西瓜受到撞擊、楓樹種子從空中飄落，以及鄉村火車站等場景，呈現碰撞、重力、空氣動力學與人物行為。虛擬角色也能根據周遭環境作出反應，並接受使用者即時控制。

首度支援原生音訊生成 虛擬角色可即時回應

Genie 4 的另一項重要升級，是首次在 Genie 系列中支援原生音訊生成。模型能在生成虛擬環境的同時，產生環境聲音、音樂及人物對話，讓聲音與畫面中的事件同步發展。

例如，海邊可以出現海浪聲，森林裡可以聽見風聲，角色移動時也能產生與環境相符的聲響。除了環境音，Genie 4 也開始支援即時互動對話，讓虛擬人物根據使用者的輸入及場景中的事件，動態產生語言與反應。

這與傳統遊戲中依賴預設台詞及行為邏輯的非玩家角色（NPC）有所不同。透過生成式模型，虛擬角色有機會根據互動情境調整回應，讓使用者不只探索環境，也能與場景中的人物交流。

不過，Genie 4 目前仍存在音訊準確性及長期一致性等限制。若要進一步支援大型開放世界遊戲，仍須改善模擬的穩定度與持續運行能力。

Gemini 負責規劃 Genie 4 模擬機器人執行任務

除了生成畫面與聲音，Google 也試圖透過 Gemini 強化世界模型的推理與規劃能力。

在這套架構中，Gemini Omni 為模擬提供對現實世界外觀及行為的理解基礎，Gemini 3.8 Flash 則負責觀察生成畫面、拆解任務步驟，並判斷各個步驟是否完成。

Genie 4 依據這些規劃生成虛擬環境，讓模擬不只呈現畫面，也能配合任務進展調整。

當使用者改變指令，或環境出現變化時，Gemini 可以重新規劃後續行動。這種結合有助於模型處理較複雜的多步驟任務，而非只生成單一動作的視覺結果。

Google 展示的研究實驗中，Gemini 4 Argon 將任務拆解為一連串步驟，再由 Genie 4 即時模擬 Apptronik 旗下 Apollo 人形機器人與對手進行跳棋對弈的過程。

對機器人研發而言，這類能力具有潛在價值。實體機器人的訓練需要設備、場地及反覆實驗，部分高成本或危險情境也不容易實際測試。如果虛擬世界能夠更準確地模擬物理環境，研究人員便有機會先在模擬中測試不同策略，再探索將相關能力轉移至真實環境的可能性。

Google DeepMind 研究主管 Tejas Kulkarni 指出，結合語言模型的結構化推理與世界模型的感官模擬，是混合世界模型的重要發展方向。

語言模型負責規劃及組織複雜事件，世界模型則將這些規劃轉化為持續變化的畫面、聲音與物理環境。

從電影製作到工業仿 真 世界模型應用範圍擴大

Google DeepMind 已邀請電影、遊戲、新聞、教育及工程等領域的測試者，探索 Genie 4 的應用方式。

在電影製作方面，創作者可以透過文字建立虛擬場景，再進入其中調整鏡頭、人物動作及對白，快速嘗試不同的拍攝方案，減少部分前期場景建構與預演工作的需求。

對遊戲開發者而言，Genie 4 也可能成為快速原型工具，協助建立遊戲環境並測試美術風格、材質表現與基礎互動玩法，再決定是否投入資源進行正式開發。

新聞與教育領域則可探索將2D歷史照片轉化為可互動的動態場景，或模擬洪水、野火等事件的發展過程。不過，根據歷史照片生成的場景仍包含 AI 推測的內容，不能直接視為對歷史事實的準確重建。

在企業應用方面，世界模型也可能用於工業仿真、機器人研發及複雜環境測試，協助降低部分實體試驗的時間與成本。

隨著應用範圍擴大，世界模型也成為 AI 產業競逐的方向之一。除了 Google，Runway 已推出支援即時音訊與互動的 GWM Worlds 2；由李飛飛創立的 World Labs 則著重空間智能，強調3D環境的重建、編輯及長期一致性。

模擬仍有時間限制 長期一致性成 為 關鍵挑戰

分析指出，儘管 Genie 4 展現更強的互動能力，距離完整、穩定的數位世界仍有差距。目前單次模擬時間約為 2 分鐘，隨著運行時間拉長，物體細節可能改變，場景也可能出現前後不一致的情況。

當使用者持續修改指令，或在較大的環境中不斷探索時，模型也可能難以準確保留先前的場景資訊。此外，複雜物理互動、空間準確性、音訊生成，以及畫面中文字的可讀性，仍有改善空間。

目前，Genie 4 已向部分受邀測試者開放研究預覽，後續規劃透過 Project Genie 向 Google AI Ultra 訂閱用戶開放，並逐步提供 Gemini API 與 Google AI Studio 的早期合作夥伴使用。

從文字、圖片到影片，再到可即時探索並具備聲音與角色行為的虛擬環境，生成式 AI 的能力正從內容產出延伸至環境模擬。Genie 4 的重要性不只在於畫面更加逼真，而是嘗試結合語言模型的推理能力，讓 AI 在虛擬世界中規劃行動、觀察結果並調整策略。

對 AI 代理與機器人而言，理解行動可能造成的後果，並在虛擬環境中反覆測試不同選擇，可能比單純生成高品質影片更具長期價值。世界模型能否進一步提升模擬的準確性與持續性，將是這項技術邁向實際應用的重要關鍵。