量子位 | 公眾號 QbitAI

在高質(zhì)量3D生成需求不斷攀升的當(dāng)下，高效生成結(jié)構(gòu)優(yōu)良、幾何精細的三維資產(chǎn)，成為了AIGC和數(shù)字內(nèi)容創(chuàng)作領(lǐng)域的核心難題。

盡管近年來3D生成方法進步顯著，精度日益提高，但現(xiàn)有框架在兼顧效率與質(zhì)量方面仍存在瓶頸。特別是在高分辨率建模時，計算的高復(fù)雜度極大地限制了生成速度和應(yīng)用落地。

為解決這一困境，南洋理工大學(xué)聯(lián)合數(shù)美萬物、西湖大學(xué)推出了全新的3D生成框架——Ultra3D。

Ultra3D采用coarse - to - fine的兩階段生成流程，高效實現(xiàn)高分辨率三維資產(chǎn)建模，提升了3D生成質(zhì)量的上限。第一階段，Ultra3D利用高效的VecSet表示快速生成coarse mesh，并導(dǎo)出稀疏體素；第二階段，引入新的局部化Part Attention，對每個體素進行細粒度特征建模。

該機制僅在語義一致的局部區(qū)域內(nèi)進行注意力計算，大幅減少全局注意力的冗余計算，有效提高生成效率。此方法支持1024分辨率輸出，在保持高保真度的同時，實現(xiàn)高達6.7 ×的加速比，為三維資產(chǎn)的快速生成和下游應(yīng)用提供了可行方案。

近年來，3D生成領(lǐng)域發(fā)展迅速，稀疏體素憑借強大的表面細節(jié)建模能力，成為眾多SoTA方法常用的3D表征。

這種表征將3D物體編碼為稀疏體素和對應(yīng)的latent token，雖然表達能力強，但由于token數(shù)量巨大，在高分辨率下往往過萬，導(dǎo)致計算效率低下。

因此，以往的工作大多局限于較低分辨率，難以實現(xiàn)更高質(zhì)量。為解決這一問題，Ultra3D提出全新的兼顧效率和質(zhì)量的二階段生成pipeline，在不降低質(zhì)量的情況下大幅加速訓(xùn)練和推理，將其拓展到更高分辨率和質(zhì)量。

Ultra3D由二階段Pipeline構(gòu)成：第一階段通過緊湊高效的VecSet表征快速生成coarse mesh，并據(jù)此體素化得到稀疏體素的結(jié)構(gòu)布局；第二階段基于該布局引入結(jié)構(gòu)感知的Part Attention，對每個體素進行l(wèi)atent feature精細建模。

Part Attention通過幾何對齊的語義分組，僅在局部區(qū)域內(nèi)計算注意力，大幅減少計算冗余，同時保持幾何連續(xù)性和細節(jié)質(zhì)量。實驗顯示，Ultra3D可在不犧牲生成質(zhì)量的前提下，實現(xiàn)3.3 ×的整體加速，并在多個指標(biāo)上超越現(xiàn)有SoTA方法，兼具速度與保真。

Ultra3D的核心在于新提出的part attention機制。sparse voxel表征表達力強，但token數(shù)量大，導(dǎo)致attention計算開銷巨大。

為解決這一問題，Ultra3D提出專為3D設(shè)計的part attention，將attention計算限制在同一個part group內(nèi)，避免冗余的全局attention，在不降低質(zhì)量的情況下大幅降低計算壓力。

一個簡單的替代方案是使用大語言模型領(lǐng)域常用的window attention，但實驗表明，將其直接應(yīng)用于3D會導(dǎo)致質(zhì)量下降，因為其固定的分割模式與3D物體的語義不匹配。

與其他方法的對比實驗和user study表明，Ultra3D在生成質(zhì)量上遠超之前的SoTA方法，能生成具有高精度細節(jié)的高分辨mesh。attention的ablation實驗也表明part attention是更適用于3D生成的local attention機制。

Ultra3D提出了兼顧效率與保真度的創(chuàng)新性3D生成框架，突破了當(dāng)前主流方法在分辨率和計算成本之間的權(quán)衡瓶頸。

通過coarse - to - fine的雙階段設(shè)計和結(jié)構(gòu)感知的Part Attention機制，Ultra3D顯著提高了稀疏體素建模的效率，在保持高質(zhì)量輸出的同時實現(xiàn)多倍加速，支持高達1024分辨率的三維資產(chǎn)生成。

該方法不僅在多個定量指標(biāo)上大幅超越現(xiàn)有SoTA方法，在用戶主觀評價中也表現(xiàn)出色，能真實還原復(fù)雜幾何結(jié)構(gòu)和微小紋理細節(jié)，如毛發(fā)、衣褶等，展現(xiàn)出卓越的細節(jié)還原能力。

更重要的是，Ultra3D具有良好的擴展性和通用性，為數(shù)字內(nèi)容創(chuàng)作、游戲建模、AR/VR、影視制作等多種下游應(yīng)用提供了更快速、更高質(zhì)的3D建模方案。

隨著生成式AI向多模態(tài)和高保真內(nèi)容生成不斷發(fā)展，Ultra3D展現(xiàn)出的性能和潛力，標(biāo)志著高分辨率3D生成進入新階段。

未來，Ultra3D有望拓展到動畫、可編輯3D內(nèi)容生成以及3D - 4D一體化建模等更多復(fù)雜任務(wù)，成為推動AIGC向更高維空間發(fā)展的關(guān)鍵技術(shù)基石。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com