即興創作是爵士樂的特點，而NVIDIA透過人工智慧（AI）研究成果向爵士樂致敬，繪圖創作者有朝一日將能夠在即興演奏時，利用演奏期間所創作出的3D物件進行即興創作。
建築師、設計師、概念藝術家與遊戲開發者透過這項稱為NVIDIA 3D MoMa的工具，可以迅速將物件匯入繪圖引擎，並進行處理、調整比例、變更材質或嘗試不同的光線效果。
NVIDIA Research在一部頌揚爵士樂及其發源地紐奧良的影片中展示該項技術，而本週在紐澳良舉行的國際電腦視覺與模式辨識會議（CVPR）上發表3D MoMa的技術論文。
逆向渲染是一項將一系列靜態照片重建為3D物件或場景模型的技術，NVIDIA繪圖研究部門副總裁David Luebke表示：「這項技術對於統一電腦視覺與電腦繪圖來說是夢寐以求的目標。」
David Luebke進一步表示：「藉著把每一個逆向渲染問題都當作GPU加速的可微分元件，NVIDIA 3D MoMa渲染流程利用現代AI技術與NVIDIA GPU的原始運算能力快速產出3D物件，創作者便能運用現有的工具，自由地進行匯入、編輯和擴展等作業。」
3D物件的形式應能搭配遊戲引擎、3D建模器和電影渲染器等各式常見工具，才最能協助藝術家或工程師。該形式為3D工具的通用語言、帶有紋理材質的三角網格（Triangle Mesh）。
遊戲工作室與其他創作者過去使用複雜的攝影測量技術，耗費大量時間及人力來建立3D物件。最近在神經輻射場領域的研究成果可以用於快速生成3D物件或場景，但並非能夠輕鬆編輯的三角網格格式。
NVIDIA 3D MoMa搭配單一NVIDIA Tensor核心GPU，能在一小時內產生三角網格模型。該流程的輸出內容可直接相容於創作者原本使用的3D繪圖引擎與建模工具。
流程重建有三個特徵：3D網格模型、材質和光線。網格如同由三角形組成的3D形狀紙糊模型。開發人員能透過網格來調整物件，以符合他們的創作構想。2D紋理材質像皮膚一樣疊加在3D網格上，而NVIDIA 3D MoMa亦會判斷場景的打光狀況，以便創作者在後期調整物件上的光線。
NVIDIA的研究和創意團隊先蒐集五種爵士樂器不同角度的圖片各約100張，以展現NVIDIA 3D MoMa的能力，包括小號、長號、薩克斯風、爵士鼓和單簧管。
NVIDIA 3D MoMa將每件樂器的2D平面影像，以三角網格重建為3D立體模型。接著，NVIDIA團隊從原始場景中取出這些樂器，並將其匯入NVIDIA Omniverse 3D模擬平台進行編輯。
創作者能夠在任何傳統的繪圖引擎中，輕鬆為NVIDIA 3D MoMa產出的形狀改變材質，彷彿替網格換穿上不同的衣服。NVIDIA團隊便是藉此方式更換小號模型的材質，例如瞬間就將原先來的塑膠材質外觀，改成黃金、大理石、木材或軟木材質。
創作者接著便能把剛編輯好的物件放入任何虛擬場景中。NVIDIA團隊將這些樂器放置在一個用於渲染品質的經典圖形測試Cornell Box，展示虛擬樂器對光線的反應，就像這些樂器在實體環境中的光線反應一般，亮面的銅管樂器會反射出明亮的光線，而霧面的鼓皮則會吸收光線。
在影片結尾以虛擬爵士樂隊展現這些使用逆向渲染產生的新物件，能夠用以創造複雜的動畫場景。NVIDIA 3D MoMa的技術論文將於台灣時間6月23日凌晨2點30分在CVPR大會的一場會議中亮相，該論文為NVIDIA研究人員在今年CVPR大會上發表的38篇論文其中1篇。
