如今的生成式AI在人工智能領域迅猛發展，在計算機視覺中，圖像和視頻生成技術已日漸成熟，如Midjourney、Stable Video Diffusion 等模型廣泛應用。然而，三維視覺領域的生成模型仍面臨挑戰。目前的3D模型生成技術通常基于多角度視頻生成和重建，如SV3D模型，通過生成多角度視頻并結合神經輻射場(NeRF)或者3D高斯渲染模型(3D Gaussian Splatting技術逐步構建3D物體。這種方法主要限制在只能生成簡單的、無自遮擋的三維物體，且無法呈現物體內部結構，使得整個生成過程復雜而且不完美，顯示出該技術的復雜性和局限性。究其原因，在于目前缺乏靈活高效且容易泛化的3D Representation (3D表示)。

　　我們知道X射線能夠穿透并記錄關鍵物體內外表面信息，受到這個啟發，NUS研究團隊胡濤博士等人近期發布了一種全新的3D表示—X-Ray，它能夠序列化地表示從相機攝像角度看過去的物體的逐層次的物體表面形狀和紋理，可以充分利用視頻生成模型的優勢來生成3D物體，可以同時生成物體的內外3D結構。

　　技術革新：物體內外表面的3D表示方法

　　X-Ray表示：從相機中心開始朝向物體方向的HxW個矩陣點發射射線。在每條射線方向上, 逐個記錄與物體的表面相交點的 個包含深度、法向量和顏色等的三維屬性數據, 然后將這些數據組織成LxHxW的形式, 實現任意3D模型的張量表示, 這就是我們提出的X-Ray表示方法, 值得注意的是, 該表示形式與視頻格式一樣, 因此我們可以用視頻生成模型做3D生成模型。

　　編碼過程: 3D模型轉X-Ray_X-Ray轉3D模型

　　基于X-Ray表示的3D模型生成

　　為了生成高分辨率的多樣3D X-Ray模型，我們的團隊使用了與視頻格式相似的視頻擴散模型架構。這個架構可以處理連續的3D信息，并通過上采樣模塊來提高X-Ray的質量，生成高精度的3D輸出。擴散模型負責從噪聲數據逐步生成細節豐富的3D圖像，上采樣模塊則增強圖像分辨率和細節，以達到高質量標準。

　　1. X-Ray 擴散生成模型

　　擴散模型在X-Ray生成中使用潛在空間，通常需要自定義開發向量量化-變分自編碼器(VQ-VAE)[3] 進行數據壓縮，這一缺少現成模型的過程增加了訓練負擔。為有效訓練高分辨率生成器，我們采用了級聯合成策略，通過技術如Imagen和Stable Cascaded，從低到高分辨率逐步訓練，以適應有限的計算資源并提高X-Ray圖像質量。

　　具體而言，我們使用Stable Video Diffusion中的3D U-Net架構作為擴散模型，生成低分辨率X-Ray，并通過時空注意機制從2D幀和1D時間序列中提取特征，增強處理和解釋X-Ray能力，這對高質量結果至關重要。

　　2. X-Ray 上采樣模型

　　前一階段的擴散模型僅能從文本或其他圖像生成低分辨率的X-Ray圖像。在隨后的階段，我們著重提升這些低分辨率X-Ray至更高分辨率。我們探索了兩種主要方法：點云上采樣和視頻上采樣。由于我們已經獲得了形狀和外觀的粗糙表示，將這些數據編碼成帶有顏色和法線的點云是一個很直接的過程。然而，點云表示結構過于松散，不適合進行密集預測，傳統的點云上采樣技術通常只是簡單增加點的數量，這對于提升諸如紋理和顏色等屬性可能不夠有效。為了簡化我們的流程并確保整個管道的一致性，我們選擇使用視頻上采樣模型。這個模型改編自Stable Video Diffusion(SVD)的時空VAE解碼器，專門從頭開始訓練，以4倍的因子上采樣合成的X-Ray幀，同時保持原始的層數。解碼器能夠在幀級和層級上獨立進行注意力操作。這種雙層注意力機制不僅提高了分辨率，還顯著改善了圖像的整體質量。這些功能使得視頻上采樣模型成為我們在高分辨率X-Ray生成中更加協調和有效的解決方案。

　　未來展望：新表示帶來無限可能

　　隨著機器學習和圖像處理技術的不斷進步，X-Ray的應用前景無限廣闊。未來，這種技術可能會與增強現實(AR)和虛擬現實(VR)技術結合，為用戶創造出完全沉浸式的3D體驗。教育和訓練領域也可以從中受益，例如通過3D重建提供更為直觀的學習材料和模擬實驗。此外，X-Ray技術在醫療影像和生物技術領域的應用，可能改變我們對復雜生物結構的理解和研究方法。我們期待它如何改變我們與三維世界的互動方式。

　　以上是關于NUS研究團隊提出X-Ray的全部新聞，如果您對新加坡留學感興趣，歡迎您在線咨詢托普仕留學老師。托普仕留學采用5v1服務模式，21步精細服務流程，硬性四維標準+六維背景提升等留學服務體系，為學生出國留學申請名校提供保障。