操縱對象的材質外觀

（中國AI網 2025年06月05日）操縱對象的材質外觀對于增強現實等應用至關重要。在一項研究中，俄羅斯國家研究型高等經濟大學，AIRI和斯科爾科沃科學技術研究院團隊提出了MaterialFusion，這是一個高質量材質轉移的新框架，允許用戶調整材質應用的程度，在新材質特性和對象的原始特征之間實現最佳平衡。

MaterialFusion通過保持背景一致性和減輕邊界偽影，無縫地將修改后的對象集成到場景中。

為了徹底評估方法，團隊編制了一個真實世界材質轉移示例的數據集，并進行了復雜的比較分析。通過全面的定量評估和用戶研究，研究人員證明了MaterialFusion在質量、用戶控制和背景保存方面顯著優于現有方法。

操縱對象的材質外觀是計算機視覺和圖形學中的一項關鍵任務，在增強現實等領域有著廣泛的應用。材質轉移是將材質屬性從源樣例應用到圖像中的目標對象的過程，使用戶能夠在不同材質條件下可視化對象，而無需復雜的3D建模或渲染。這種能力加速了設計工作流程，增強了合成圖像的真實感，使其成為一個重要的研究領域。

盡管具有重要意義，但由于難以保持幾何特征，控制材質應用程度以及有效處理對象邊界，實現高質量的材質轉移依然具有挑戰性。

現有方法在應用新材質屬性時，往往會扭曲目標對象的形狀或表面細節，從而影響其幾何保真度。另外，許多方法在調整材質轉移程度方面缺乏靈活性，導致過度應用，淹沒了對象的原始結構和細節，導致外觀不自然。

另外，在對象邊界處不適當的混合會引入明顯的偽影，降低整體圖像質量并破壞與背景的一致性。現有的方法，如ZeST，試圖在不依賴明確的3D信息的情況下解決材質轉移問題，但它們經常受到質量問題的困擾，如幾何特征的保存較差，缺乏對材質轉移程度的控制。

同時，通用的圖像編輯技術可能不接受材質范例作為輸入圖像，或者即使接受，都不能產生令人滿意的結果，特別是在保留材質屬性和處理背景整合方面。

為了克服上述限制，俄羅斯國家研究型高等經濟大學，AIRI和斯科爾科沃科學技術研究院團隊提出了MaterialFusion。這個新框架將IP-Adapter和Guide-and-Rescale（GaR）結合在一個擴散模型中，以實現具有增強控制和保真度的高質量材質轉移。

所述方法使用IPAdapter從源樣例圖像中編碼材質特征，捕獲要傳輸的材質的特定紋理和細微差別。同時，GaR有助于保持目標對象的幾何特征和基本特征，保持其原始結構和細節。

為了解決意外材質應用和背景改變的問題，研究人員引入了雙重掩模策略：首先，在材質轉移過程中應用掩模，將轉移限制在所需區域；其次，在每個去噪步驟后執行掩模，以無縫地將修改后的對象集成到背景中，并減輕邊界偽影。這種結合的方法可以精確控制材質轉移的程度和位置，從而產生與周圍環境保持一致的自然和真實的圖像。

為了評估方法的有效性，研究人員進行了一項用戶研究，將所提出方案與ZeST進行了比較。通過展示所提出方案和ZeST的結果，向被試提出了三個問題：第一個問題（Q1）評估了用戶對總體偏好的偏好，第二個問題（Q2）側重于材質保真度，第三個問題（Q3）評估了兩種方法產生的圖像結果的細節保存。

每個被試進行了365對圖像的比較。被試表示，與ZeST相比，團隊所提出方法產生的圖像更逼真，并且更好地保留了原始對象的細節。然而，用戶研究的結果表明，轉移材質的效率低于ZeST（41%/59%）。對此有一個非常簡單和合乎邏輯的解釋。當使用最簡單的方法切割材質時，使用掩模并將其粘貼到原始圖像，材質轉移看起來很完美。然而，這種方法犧牲了對原始對象的任何保存。

ZeST缺乏對材質傳遞力的控制，這可能導致輸出類似于簡單的剪切粘貼技術。因此，41%/59%的結果已經非常值得稱道，因為它反映了保持原始對象完整性和實現材質轉移之間的平衡。

團隊表示：“盡管我們的方法可能沒有像ZeST那樣有效地轉移材質，但它提供了更現實和連貫的材質和原始細節的集成，這本身就是一個重要的成就。”

相關論文：MaterialFusion: High-Quality, Zero-Shot, and Controllable Material Transfer with Diffusion Models

總的來說，MaterialFusion這個材質轉移新框架平衡了材質保真度和細節保存，并利用了現有的預訓練模型，如IP-Adapter和Guide-and-Rescale。通過定量評估和用戶研究，與現有方法相比，所提出方法在現實材質集成方面顯示出優越的結果。然而，框架有局限性，特別是在處理高度復雜的材質或復雜的紋理時，細粒度控制可能仍然不足。盡管存在挑戰，但MaterialFusion為未來在現實應用中受控、高質量的材質轉移提供了堅實的基礎。