GameGen-O 是騰訊推出的一款基于 Transformer 架構(gòu)的游戲視頻生成模型，專門用于生成開放世界視頻游戲。模型能模擬游戲引擎的多種功能，包括生成游戲角色、動態(tài)環(huán)境、復(fù)雜動作等，支持交互控制，支持用戶通過文本、操作信號和視頻提示來控制游戲內(nèi)容。GameGen-O 的開發(fā)涉及大規(guī)模的數(shù)據(jù)收集和處理，創(chuàng)建首個開放世界視頻游戲數(shù)據(jù)集（OGameData），經(jīng)過兩階段的訓(xùn)練過程，包括基礎(chǔ)模型預(yù)訓(xùn)練和指令調(diào)整。模型的推出會對游戲開發(fā)行業(yè)產(chǎn)生重大影響，它能降低開發(fā)成本和時間，同時為玩家提供更多的創(chuàng)作自由度。
GameGen-O的主要功能角色生成：能根據(jù)用戶的文本指令生成各種角色，如西部牛仔、太空人、魔法師等。環(huán)境生成：能創(chuàng)造出動態(tài)的游戲環(huán)境，適應(yīng)不同的游戲風(fēng)格和場景。動作生成：支持生成復(fù)雜的角色動作，如駕駛、飛行、射擊等。事件生成：能生成游戲中的各種事件，如天氣變化、自然災(zāi)害等。交互控制：用戶可以通過文本、操作信號和視頻提示來控制游戲內(nèi)容，實現(xiàn)交互式游戲體驗。GameGen-O的技術(shù)原理開放域生成：GameGen-O 能生成各種類型的游戲元素，如角色、環(huán)境、動作和事件，擴展了游戲的可能性。交互式可控性：模型能生成游戲內(nèi)容，支持用戶通過 InstructNet 分支進行交互式控制，例如改變角色行為、環(huán)境布局、事件發(fā)生等。OGameData 數(shù)據(jù)集：為了訓(xùn)練 GameGen-O，研究團隊構(gòu)建了大規(guī)模的開放世界電子游戲數(shù)據(jù)集 OGameData，包含來自150多個游戲的4000多個小時視頻片段，覆蓋多種游戲類型和風(fēng)格。兩階段訓(xùn)練：模型采用了兩階段訓(xùn)練策略。第一階段是基礎(chǔ)模型預(yù)訓(xùn)練，學(xué)習(xí)生成高質(zhì)量的游戲視頻；第二階段是通過指令微調(diào)，賦予模型根據(jù)用戶指令生成和控制內(nèi)容的能力。技術(shù)創(chuàng)新：GameGen-O 采用了多種先進技術(shù)，如2+1D VAE視頻壓縮、混合訓(xùn)練策略、掩碼注意力機制等，確保模型的穩(wěn)定性和生成質(zhì)量。數(shù)據(jù)集構(gòu)建和訓(xùn)練過程：從互聯(lián)網(wǎng)上收集了32,000個原始視頻，經(jīng)過人類專家篩選和GPT-4o標(biāo)注，形成了高質(zhì)量的訓(xùn)練數(shù)據(jù)。模型的基礎(chǔ)訓(xùn)練階段使用了變分自編碼器來壓縮視頻片段，采用了不同幀速率和分辨率的混合訓(xùn)練策略。InstructNet：在模型的微調(diào)階段，使用了可訓(xùn)練的 InstructNet 來接受多模態(tài)輸入，包括文本、操作信號和視頻提示，實現(xiàn)對生成內(nèi)容的交互式控制。GameGen-O的項目地址項目官網(wǎng)：gamegen-o.github.ioGithub倉庫：https://github.com/GameGen-O/GameGen-O/GameGen-O的應(yīng)用場景游戲原型制作：開發(fā)者可以用 GameGen-O 快速制作游戲原型，測試不同的游戲元素，節(jié)省從零開始構(gòu)建游戲的時間和精力。環(huán)境和場景生成：GameGen-O 能創(chuàng)造出動態(tài)的游戲環(huán)境和復(fù)雜的場景，為游戲世界增添豐富的視覺效果。動作和事件生成：模型支持生成復(fù)雜的角色動作和游戲中的各種事件，如海嘯、龍卷風(fēng)、火災(zāi)等，增加游戲的互動性和挑戰(zhàn)性。輔助游戲開發(fā)：GameGen-O 可以輔助游戲開發(fā)環(huán)節(jié)，通過AI模型替代部分開發(fā)工作，提高開發(fā)效率。研究和教育：對于研究者和教育者，GameGen-O可以作為一個研究工具，幫助探索視頻游戲 AI 開發(fā)、互動控制和沉浸式虛擬環(huán)境等領(lǐng)域。 
