7月29日周一，在美國丹佛市舉行的計算機圖形學和交互技術年度大會和展會SIGGRAPH 2024上，英偉達亮出新工具。

英偉達CEO黃仁勛在SIGGRAPH 2024透露，本周英偉達發(fā)送Blackwell架構的樣品，這是今年首發(fā)的新款芯片架構。同時，英偉達公布了一系列軟件更新，主要涉及用于優(yōu)化人工智能（AI）推理的云原生微服務——Nvidia inference micro service（NIM），推動企業(yè)大規(guī)模部署AI模型。

今年3月英偉達推出NIM時介紹，NIM提供經過優(yōu)化的推理微服務，旨在縮短上市時間，并簡化生成式 AI 模型在云、數據中心和 GPU 加速工作站的任何位置的部署。NIM 支持跨多個領域的 AI 用例，包括大語言模型 (LLM)、視覺語言模型 (VLM)，以及用于語音、圖像、視頻、3D、藥物研發(fā)、醫(yī)學成像等的模型。

開發(fā)者可以使用英偉達托管的云API測試新的生成式 AI 模型，或者通過下載 NIM 來自行托管模型，并在主要云提供商或本地使用 Kubernetes 快速部署，以減少開發(fā)時間、復雜性和成本。NIM微服務通過打包算法、系統(tǒng)和運行時優(yōu)化并添加行業(yè)標準 API 來簡化 AI 模型部署流程。這使開發(fā)者能夠將 NIM 集成到其現有應用程序App和基礎設施中，無需大量定制或專業(yè)知識。

本周一英偉達宣布的更新擴大了NIM推理微服務庫，涵蓋了物質世界環(huán)境、高級視覺建模和各種垂直應用。英偉達已在預覽版中提供了約 100項NIM推理微服務，現在要發(fā)布完整版本。比如，作為英偉達的部分新NIM，視覺媒體公司Getty Images Holdings的4K 圖像生成 API 和圖像、影片、音樂等數字內容供應商Shutterstock Inc. 的3D圖像生成器即將上線。兩者都使用英偉達的Nvidia Edify，它是一種用于視覺生成 AI 的多模式架構。

英偉達同日宣布，與自然語言處理（NLP）工具集和平臺Hugging Face合作，推出了推理即服務，幫助開發(fā)人員使用托管在 Hugging Face Hub 上的開源AI模型快速制作原型，并將其部署到生產中。評論稱，這一合作將簡化開發(fā)者的AI模型部署。

fVDB利用現實世界3D數據打造空間智能

其中，英偉達推出fVDB，利用現實世界的3D數據，打造空間智能。英偉達稱，生成式物質AI模型可以理解并執(zhí)行物質世界中精細或粗大動作技能的操作。理解物質世界的三維空間并在其中導航需要空間智能。為了給這種AI提供一個能夠處理現實規(guī)模的強大、連貫的框架，英偉達打造了fVDB，這是一個專為稀疏、大規(guī)模和高性能空間智能而設計的深度學習框架。

fVDB建立在OpenVDB上，OpenVDB 是一個行業(yè)標準的結構和程序庫，用于模擬和渲染水、火、煙和云等稀疏體積數據。fVDB 提供的空間規(guī)模是以前框架的四倍，性能是以前框架的 3.5 倍，并且可以訪問大量現實世界數據集。它通過組合以前需要多個深度學習庫的功能來簡化流程。

開源模塊化框架Isaac Lab提供模擬 加快機器人學習

英偉達同時推出Isaac Lab，它是一個用于機器人學習的開源模塊化框架，可以解決傳統(tǒng)訓練方法對機器人學習技能的限制。

Isaac Lab 為不同的訓練環(huán)境提供模塊化的高保真模擬，提供物質世界AI功能和 GPU 驅動的物質世界模擬。

Isaac Lab 支持模仿學習（模仿人類）和強化學習（通過反復試驗學習），為任何機器人實現提供靈活的訓練方法。它為訓練場景提供了一個用戶友好的環(huán)境，可幫助機器人制造商根據不斷變化的業(yè)務需求添加或更新機器人技能。

用英偉達NIM和VIA微服務打造VLM 驅動的視覺AI代理

英偉達為物質世界的AI量身定制了NIM，支持語音和翻譯、視覺以及逼真的動畫和行為。英偉達推出VIA微服務，現已可在開發(fā)者預覽版中下載。

VIA微服務可以輕松與NIM集成，用戶可以在英偉達的模型預覽API和可下載NIM微服務API目錄中靈活使用任何LLM或VLM模型。VIA微服務是英偉達Metropolis微服務的擴展，是云原生構建塊，可加快VLM和NIM驅動的視覺AI代理開發(fā)速度，無論部署在邊緣還是云端。

借助生成式 AI、NIM微服務和基礎模型，現在用戶可以用更少的模型，構建具有廣泛感知和豐富上下文理解的App。VLM支持能夠理解自然語言提示并執(zhí)行視覺問答的視覺 AI 代理。視覺AI代理使用計算機視覺功能來感知物質世界并與其交互、執(zhí)行推理任務。

這些代理能充分釋放了各行各業(yè)應用的可能性，它們能顯著簡化App開發(fā)的工作流程，并提供了變革性的新感知功能，例如圖像或視頻摘要、交互式視覺問答和視覺警報。這些視覺AI代理將可以部署在工廠、倉庫、零售店、機場、交通路口等地，將幫助運營團隊利用自然互動中產生的更豐富見解，做出更好的決策。

Omniverse Replicator幫助解決限制模型訓練的數據短缺問題

英偉達介紹了如何用NIM微服務為USD建立自定義合成數據生成 (SDG) 管道，該微服務采用了英偉達的Omniverse Replicator。Omniverse Replicator是基于通用場景描述 (OpenUSD) 和英偉達RTX構建的 SDK。

開發(fā)人員可以使用 NIM微服務和 Omniverse Replicator 等來構建支持生成式AI 的SDG管道，解決通常會限制模型訓練的現實世界數據短缺問題。

英偉達的Omniverse和模擬技術副總裁 Rev Lebaredian 說：

“我們構建了世界上第一個能夠理解基于OpenUSD的語言、幾何、材料、物理和空間的生成式AI模型?！?/p>

Lebaredian稱，2016 年以來，英偉達一直在投資OpenUSD，使工業(yè)企業(yè)和物質AI開發(fā)人員能夠更輕松、更快地開發(fā)高性能模型。

英偉達還與共同創(chuàng)立了OpenUSD聯(lián)盟的蘋果合作，構建了從英偉達由圖形就緒數據中心組成的網絡——Graphics Delivery Network、到蘋果Apple Vision Pro在內的混合渲染管道流。