人工智慧公司 Runway 發布了其首個世界模型,GWM-1,這對於此前以視頻生成專業知名的公司來說是一項突破性進展。這一發展是探索新領域的一部分,因為大型語言模型和多媒體生成技術已達到成熟和增強的階段,而非新奇。
GWM-1 領域下覆蓋了三個自回歸模型,每個模型都基於 Runway 的 Gen-4.5 文本到視頻生成架構,隨後使用特定領域的數據進行微調,以適應不同的應用。以下是它們功能的詳細介紹。
GWM 世界
GWM 世界引入了一個互動平台,用於探索對用戶實時互動有反應的數位環境,影響隨後的畫格生成。根據 Runway 的說法,這項功能保證了在長序列運動中的一致性和連貫性。
用戶可以自定義環境的屬性──其內容、外觀以及物理等規則。此外,他們可以實施實時行動,例如相機移動或環境修改。雖然基本上是一種高級形式的畫框預測,但這些環境接近於適合模擬用途的可靠程度。
潛在的應用包括遊戲設計的預視化和初步開發階段、虛擬現實設置的創建以及對歷史背景的教育探索。一個顯著的應用超出了 Runway 的傳統領域:採用這樣的世界模型來教育人工智慧系統,包括機器人學習模型。
GWM 機器人
第二個模型,GWM 機器人,專為增強機器人數據集而量身定制。它能夠生成合成的訓練數據,補充現有機器人數據集的各個方面,包括新物體、任務指令和環境變化,大大豐富了人工智慧代理和機器人系統的訓練過程。