Follow-Your-Canvas 是由騰訊混元團隊與清華大學等機構(gòu)合作推出的一種高分辨率視頻擴展技術(shù)。通過分布式處理和布局對齊兩個核心設(shè)計，將視頻內(nèi)容擴展到任意分辨率，保持與原視頻的無縫銜接和高質(zhì)量內(nèi)容生成。適用于高分辨率視頻的擴展，能克服 GPU 內(nèi)存限制，處理大規(guī)模視頻外繪任務(wù)，在各種分辨率和寬高比配置中實現(xiàn)最佳效果。
Follow-Your-Canvas的主要功能高分辨率輸出：將視頻內(nèi)容擴展到任意分辨率，例如從4K擴展到8K或更高。不受顯存大小限制：處理大規(guī)模視頻外延任務(wù)，不會受到顯存大小的限制。時空一致性：在擴展過程中，保持視頻的空間和時間一致性，確保最終輸出的視頻質(zhì)量與原視頻風格一致。生成豐富新內(nèi)容：在指定的擴展區(qū)域生成與原視頻風格一致的新內(nèi)容，提升整體視覺效果。大規(guī)模視頻外延：在大規(guī)模視頻外延方面表現(xiàn)出色，例如將512×512分辨率的視頻擴展到1152×2048（約9倍）分辨率。Follow-Your-Canvas的技術(shù)原理空間窗口分割：視頻被分割成多個空間窗口，每個窗口獨立進行內(nèi)容生成，然后無縫合并，能處理任意大小和分辨率的視頻而不受 GPU 內(nèi)存限制。布局編碼器（Layout Encoder）：通過布局編碼器提取源視頻的全局布局信息，注入到每個窗口的生成過程中，確保新生成的內(nèi)容與原視頻布局協(xié)調(diào)一致。相對區(qū)域嵌入（Relative Region Embedding, RRE）：提供源視頻與目標窗口之間的相對位置關(guān)系，進一步指導每個窗口的生成過程，生成與原視頻布局相協(xié)調(diào)的擴展內(nèi)容，提高空間和時間一致性。分布式生成：在多個 GPU 上并行處理各個窗口的內(nèi)容生成，最后將生成的窗口無縫合并成最終的視頻。Follow-Your-Canvas的項目地址項目官網(wǎng)：follow-your-canvas.github.ioGitHub倉庫：https://github.com/mayuelala/FollowYourCanvasarXiv技術(shù)論文：https://arxiv.org/pdf/2409.01055Follow-Your-Canvas的應用場景視頻尺寸調(diào)整：將手機拍攝的豎屏視頻擴展為橫屏，適應不同的播放需求，例如在社交媒體上的展示或在寬屏電視上的觀看。超寬屏視頻生成：將普通視頻擴展為超寬屏視頻，提供更廣闊的視野，適用于電影院或超寬屏顯示器的播放。全景視頻制作：基于視頻擴展技術(shù)，將普通視頻轉(zhuǎn)換為全景視頻，增強觀看體驗，適用于虛擬現(xiàn)實(VR)和360度視頻制作。高分辨率視頻輸出：能處理高達16K分辨率的視頻輸出，適用于需要高清晰度視頻的場合，如電影制作或高質(zhì)量廣告片 
