MeshGPT優(yōu)化AI驅動3D模型，可避免細節(jié)丟失和過度三角化以及提高精度和效率

2023年12月5日，南極熊獲悉，慕尼黑工業(yè)大學（TUM）和都靈理工大學的研究人員與奧迪公司聯(lián)手開發(fā)了MeshGPT，這是一款采用生成式AI的3D網(wǎng)格生成軟件，它極大簡化了生成3D模型的過程。

△通過對比，該團隊采用AI生成的3D模型在建模細節(jié)和清晰度上具有優(yōu)勢（右下）

該研究創(chuàng)新性地運用僅包含解碼器的變壓器來創(chuàng)造更為清晰、更為連貫的三角形網(wǎng)格，形狀覆蓋率顯著提升了9%，F(xiàn)ID分數(shù)（用于評估計算機生成圖像質量的指標）提高了30分，相較于現(xiàn)有方法，這代表著更為鋒利的邊緣、更高的真實感和更緊湊的設計，并且確立了新的質量標準。

△該研究的詳細論文可在這里查閱，題目為“MeshGPT:用解碼器轉換器生成三角網(wǎng)格”（傳送門）

MeshGPT通過從Transformer模型中進行自回歸采樣，從已學習的幾何詞匯中生成標記，然后將這些標記解碼為三角形網(wǎng)格的面。MeshGPT的表現(xiàn)反映了藝術家創(chuàng)造的網(wǎng)格常見的緊湊特性，與通過等曲面方法從神經(jīng)場提取的密集三角形網(wǎng)格形成了鮮明對比。受到大型語言模型最新進展的啟發(fā)，研究人員采用了基于序列的方法，以自回歸方式生成三角形網(wǎng)格序列。

△TUM和都靈理工大學的研究人員與奧迪公司合作進行的一項研究結果

第一步是使用圖卷積學習潛在量化嵌入的詞匯。這將為我們提供有關局部網(wǎng)格幾何和拓撲結構的嵌入信息。術語“量化嵌入”指的是一種在自然語言處理（NLP）和機器學習中廣泛使用的技術，它以離散的形式表示和存儲詞嵌入或連續(xù)值向量。

△生成模型在跨各種語言生成文本方面表現(xiàn)出了良好的能力

這些嵌入經(jīng)過解碼器的排序和解碼，最終被呈現(xiàn)為三角形形狀，確保它們能夠有效地還原原始網(wǎng)格。接下來，通過使用學到的詞匯訓練變壓器模型，以預測下一個嵌入的索引，從而進一步優(yōu)化模型。通過訓練，該模型能夠執(zhí)行自回歸采樣，生成新的三角形網(wǎng)格，直接產(chǎn)生具有銳利邊緣和高效三角測量模式的緊湊網(wǎng)格，更接近于人工網(wǎng)格的表現(xiàn)。

該團隊進一步表示，MeshGPT相對于最先進的網(wǎng)格生成方法顯示出顯著改進，形狀覆蓋率提高了9%，各個類別的FID分數(shù)提高了30分。與現(xiàn)有方法相比，MeshGPT能夠避免錯過細節(jié)導致過度三角化的網(wǎng)格，同時避免輸出過于簡化的形狀。另外，該技術不僅適用于單一物體的3D模型生成，還可以擴展應用到生成整個場景所需的3D資源，包括多個物體的模型。。