ViMax 是香港大學(xué)數(shù)據(jù)科學(xué)實驗室推出的端到端多智能體視頻生成框架，支持將創(chuàng)意、劇本或小說自動轉(zhuǎn)化為完整視頻?？蚣苷蠈?dǎo)演、編劇、制片人和視頻生成器的功能，支持 Idea2Video、Novel2Video、Script2Video 和 AutoCameo 等模式，能生成分鐘級長視頻并保持人物與場景一致性。通過智能分鏡、多攝像機模擬和自動化一致性檢測等技術(shù)，ViMax 實現(xiàn)了從創(chuàng)意到成片的高效自動化流程，極大地簡化視頻創(chuàng)作，降低技術(shù)門檻，為創(chuàng)作者提供強大的工具。
ViMax的主要功能Idea2Video：將簡單的創(chuàng)意概念轉(zhuǎn)化為完整的視頻故事，適合沒有詳細(xì)劇本的初步想法。Novel2Video：將長篇小說自動改編為分集視頻內(nèi)容，適合文學(xué)作品的影視化。Script2Video：根據(jù)詳細(xì)的劇本生成視頻，適合已有成熟劇本的創(chuàng)作者。AutoCameo：用戶上傳照片后，生成包含自己形象的視頻，實現(xiàn)個性化互動體驗。ViMax的技術(shù)原理ViMax 用多智能體協(xié)作架構(gòu)，將視頻生成任務(wù)分解為多個模塊，由不同智能體分工完成：輸入解析：提取創(chuàng)意或劇本中的關(guān)鍵信息，如角色、場景和風(fēng)格。腳本理解與分鏡設(shè)計：基于提取的信息，生成詳細(xì)的分鏡頭腳本，規(guī)劃拍攝角度和敘事節(jié)奏。視覺資產(chǎn)規(guī)劃：智能選擇參考圖像，為每個鏡頭設(shè)計合適的場景布局和風(fēng)格。一致性檢查：用 MLLM/VLM 模型檢測生成圖像的一致性，確保人物和場景在視頻中連貫。并行生成與合成：通過并行處理技術(shù)高效生成鏡頭，將鏡頭拼接為完整的視頻。ViMax的項目地址GitHub倉庫：https://github.com/HKUDS/ViMaxViMax的應(yīng)用場景短視頻制作：創(chuàng)作者快速將創(chuàng)意轉(zhuǎn)化為短視頻，用于社交媒體平臺（如抖音、B站等）。教育視頻：將復(fù)雜的教學(xué)內(nèi)容轉(zhuǎn)化為生動的視頻，幫助學(xué)生更好地理解和記憶。互動視頻：通過 AutoCameo 功能，用戶將自己的形象融入視頻，增加互動性和趣味性。小說可視化：將長篇小說改編為視頻內(nèi)容，為文學(xué)作品提供新的傳播形式。個人故事視頻：用戶將自己的故事或創(chuàng)意轉(zhuǎn)化為視頻，用于個人紀(jì)念或分享。 
