DrawingSpinUp 是一種先進的3D動畫生成技術，由香港城市大學的研究團隊推出。模型將平面的角色繪畫轉化為具有3D效果的動態(tài)動畫，同時保留原始藝術作品的風格和特征。通過深度學習方法識別和處理繪畫中的輪廓線和纖細結構，解決傳統(tǒng)2D到3D轉換中的挑戰(zhàn)。DrawingSpinUp 通過去除視角依賴的輪廓線、骨架基礎的變形算法和風格恢復策略，使靜態(tài)繪畫自由旋轉、跳躍甚至表演復雜的動作。
DrawingSpinUp的主要功能3D動畫生成：將二維的角色繪畫轉換成三維動畫，使角色在虛擬空間中進行各種動作。風格保持：在轉換過程中，保持原繪畫的風格和特征，確保動畫與原始藝術作品的視覺一致性。輪廓線處理：識別并去除繪畫中的輪廓線，線條在3D建模中會引起混淆，通過算法重新添加，保持原畫的風格。幾何細化：基于骨架的變形算法，用于精細化由單線輪廓表示的細長結構，如角色的四肢。紋理合成：在去除輪廓線后，用紋理合成技術填充內部紋理，增強3D模型的細節(jié)和真實感。DrawingSpinUp的技術原理輪廓線去除：基于深度學習算法識別繪畫中的輪廓線，將其去除，減少3D建模時的視角依賴性問題。內部紋理填充：采用快速行進方法等技術填充去除輪廓線后的內部區(qū)域，保持紋理的連續(xù)性和自然性。3D模型重建：基于預訓練的圖像到3D模型的擴散模型重建具有紋理的3D幾何體。形狀切割和細化：對重建的3D模型進行切割和細化，特別是對于細長結構，提高模型的幾何細節(jié)。紋理反投影：將多視圖顏色圖像重新映射到3D空間中，改善紋理質量。DrawingSpinUp的項目地址項目官網(wǎng)：lordliang.github.io/DrawingSpinUpGitHub倉庫：https://github.com/LordLiang/DrawingSpinUparXiv技術論文：https://arxiv.org/pdf/2409.08615DrawingSpinUp的應用場景數(shù)字藝術和動畫制作：藝術家和動畫師將傳統(tǒng)的2D藝術作品轉換成3D動畫，為作品添加動態(tài)元素，創(chuàng)造新的藝術表現(xiàn)形式。游戲開發(fā)：游戲設計師快速將概念藝術或角色設計轉換成3D游戲角色，提高游戲開發(fā)的效率，為游戲角色添加更多細節(jié)和真實感。電影和視頻制作：在電影特效和視頻制作中，DrawingSpinUp 用來生成復雜的3D動畫效果，減少手工建模的時間和成本。教育和培訓：在教育領域，DrawingSpinUp 幫助學生更直觀地理解三維空間和動畫原理，作為教學輔助工具。 
