GameGen-X是香港科技大學(xué)、中國科學(xué)技術(shù)大學(xué)等機構(gòu)研究人員推出的擴(kuò)散變換器模型，用在生成和交互控制開放世界游戲視頻。模型能模擬游戲引擎功能，如創(chuàng)新角色、動態(tài)環(huán)境、復(fù)雜動作和多樣化事件，支持用戶用文本指令和鍵盤控制等多模態(tài)信號影響游戲內(nèi)容，實現(xiàn)游戲玩法的模擬。GameGen-X基于大規(guī)模數(shù)據(jù)集OGameData進(jìn)行訓(xùn)練，展現(xiàn)生成模型在游戲內(nèi)容設(shè)計和開發(fā)中的潛力。
GameGen-X的主要功能高質(zhì)量游戲視頻生成：GameGen-X能生成具有創(chuàng)新角色、動態(tài)環(huán)境、復(fù)雜動作和多樣化事件的開放世界游戲視頻。交互控制能力：用戶基于結(jié)構(gòu)化文本指令和鍵盤控制等多模態(tài)控制信號影響和控制游戲內(nèi)容，實現(xiàn)角色互動和場景內(nèi)容的動態(tài)調(diào)整。游戲玩法模擬：模型根據(jù)當(dāng)前的游戲片段預(yù)測和改變未來內(nèi)容，模擬游戲玩法和體驗。多模態(tài)輸入處理：支持包括文本、視頻和鍵盤操作等多種輸入方式，讓內(nèi)容生成更加靈活和多樣化。數(shù)據(jù)集構(gòu)建：基于OGameData數(shù)據(jù)集，包含超過100萬個來自150多款游戲的視頻片段，為模型訓(xùn)練提供豐富的素材。GameGen-X的技術(shù)原理擴(kuò)散變換器模型：GameGen-X基于擴(kuò)散模型，逐步引入噪聲，學(xué)習(xí)逆向過程生成數(shù)據(jù)。兩階段訓(xùn)練過程：基礎(chǔ)模型預(yù)訓(xùn)練：基于文本到視頻生成和視頻延續(xù)任務(wù)進(jìn)行預(yù)訓(xùn)練，讓模型能生成長序列、高質(zhì)量的開放域游戲視頻。指令微調(diào)：在預(yù)訓(xùn)練的基礎(chǔ)上，基于InstructNet模塊進(jìn)一步訓(xùn)練，實現(xiàn)對生成內(nèi)容的精細(xì)控制。InstructNet模塊：InstructNet集成與游戲相關(guān)的多模態(tài)控制信號專家，支持模型根據(jù)用戶輸入調(diào)整潛在表示，實現(xiàn)角色互動和場景內(nèi)容控制的統(tǒng)一。三維時空變分自編碼器（3D-VAE）：用于壓縮視頻片段成潛在特征，減少冗余信息，提高訓(xùn)練效率。掩碼時空擴(kuò)散Transformer（MSDiT）：結(jié)合空間注意力、時間注意力和交叉注意力機制，有效生成由文本提示引導(dǎo)的游戲視頻。多模態(tài)專家系統(tǒng)：處理不同的控制信號，如結(jié)構(gòu)化文本、鍵盤輸入和視頻提示，確保每種控制信號都能被有效利用。GameGen-X的項目地址項目官網(wǎng)：gamegen-x.github.ioGitHub倉庫：https://github.com/GameGen-X/GameGen-XarXiv技術(shù)論文：https://arxiv.org/pdf/2411.00769GameGen-X的應(yīng)用場景游戲開發(fā)與原型設(shè)計：游戲開發(fā)者快速生成游戲原型，測試和驗證游戲概念，減少早期開發(fā)階段的時間和成本。游戲內(nèi)容創(chuàng)作：內(nèi)容創(chuàng)作者生成新的游戲關(guān)卡、環(huán)境和角色，擴(kuò)展游戲的可玩性和多樣性。交互式故事講述：在交互式電影或故事驅(qū)動游戲中，根據(jù)玩家的選擇實時生成不同的故事情節(jié)和場景。游戲測試與模擬：游戲測試人員模擬各種游戲情景，進(jìn)行壓力測試和性能優(yōu)化。教育與培訓(xùn)：在教育領(lǐng)域，創(chuàng)建虛擬的學(xué)習(xí)環(huán)境，讓學(xué)生通過互動游戲?qū)W習(xí)復(fù)雜的概念和技能。 
