7月29日周一，在美國(guó)丹佛市舉行的計(jì)算機(jī)圖形學(xué)和交互技術(shù)年度大會(huì)和展會(huì)SIGGRAPH 2024上，英偉達(dá)亮出新工具。
英偉達(dá)CEO黃仁勛在SIGGRAPH 2024透露，本周英偉達(dá)發(fā)送Blackwell架構(gòu)的樣品，這是今年首發(fā)的新款芯片架構(gòu)。同時(shí)，英偉達(dá)公布了一系列軟件更新，主要涉及用于優(yōu)化人工智能（AI）推理的云原生微服務(wù)——Nvidia inference micro service（NIM），推動(dòng)企業(yè)大規(guī)模部署AI模型。
今年3月英偉達(dá)推出NIM時(shí)介紹，NIM提供經(jīng)過(guò)優(yōu)化的推理微服務(wù)，旨在縮短上市時(shí)間，并簡(jiǎn)化生成式 AI 模型在云、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署。NIM 支持跨多個(gè)領(lǐng)域的 AI 用例，包括大語(yǔ)言模型 (LLM)、視覺(jué)語(yǔ)言模型 (VLM)，以及用于語(yǔ)音、圖像、視頻、3D、藥物研發(fā)、醫(yī)學(xué)成像等的模型。
開(kāi)發(fā)者可以使用英偉達(dá)托管的云API測(cè)試新的生成式 AI 模型，或者通過(guò)下載 NIM 來(lái)自行托管模型，并在主要云提供商或本地使用 Kubernetes 快速部署，以減少開(kāi)發(fā)時(shí)間、復(fù)雜性和成本。NIM微服務(wù)通過(guò)打包算法、系統(tǒng)和運(yùn)行時(shí)優(yōu)化并添加行業(yè)標(biāo)準(zhǔn) API 來(lái)簡(jiǎn)化 AI 模型部署流程。這使開(kāi)發(fā)者能夠?qū)?NIM 集成到其現(xiàn)有應(yīng)用程序App和基礎(chǔ)設(shè)施中，無(wú)需大量定制或?qū)I(yè)知識(shí)。
本周一英偉達(dá)宣布的更新擴(kuò)大了NIM推理微服務(wù)庫(kù)，涵蓋了物質(zhì)世界環(huán)境、高級(jí)視覺(jué)建模和各種垂直應(yīng)用。英偉達(dá)已在預(yù)覽版中提供了約 100項(xiàng)NIM推理微服務(wù)，現(xiàn)在要發(fā)布完整版本。比如，作為英偉達(dá)的部分新NIM，視覺(jué)媒體公司Getty Images Holdings的4K 圖像生成 API 和圖像、影片、音樂(lè)等數(shù)字內(nèi)容供應(yīng)商Shutterstock Inc. 的3D圖像生成器即將上線。兩者都使用英偉達(dá)的Nvidia Edify，它是一種用于視覺(jué)生成 AI 的多模式架構(gòu)。
英偉達(dá)同日宣布，與自然語(yǔ)言處理（NLP）工具集和平臺(tái)Hugging Face合作，推出了推理即服務(wù)，幫助開(kāi)發(fā)人員使用托管在 Hugging Face Hub 上的開(kāi)源AI模型快速制作原型，并將其部署到生產(chǎn)中。評(píng)論稱，這一合作將簡(jiǎn)化開(kāi)發(fā)者的AI模型部署。
fVDB利用現(xiàn)實(shí)世界3D數(shù)據(jù)打造空間智能
其中，英偉達(dá)推出fVDB，利用現(xiàn)實(shí)世界的3D數(shù)據(jù)，打造空間智能。英偉達(dá)稱，生成式物質(zhì)AI模型可以理解并執(zhí)行物質(zhì)世界中精細(xì)或粗大動(dòng)作技能的操作。理解物質(zhì)世界的三維空間并在其中導(dǎo)航需要空間智能。為了給這種AI提供一個(gè)能夠處理現(xiàn)實(shí)規(guī)模的強(qiáng)大、連貫的框架，英偉達(dá)打造了fVDB，這是一個(gè)專為稀疏、大規(guī)模和高性能空間智能而設(shè)計(jì)的深度學(xué)習(xí)框架。
fVDB建立在OpenVDB上，OpenVDB 是一個(gè)行業(yè)標(biāo)準(zhǔn)的結(jié)構(gòu)和程序庫(kù)，用于模擬和渲染水、火、煙和云等稀疏體積數(shù)據(jù)。fVDB 提供的空間規(guī)模是以前框架的四倍，性能是以前框架的 3.5 倍，并且可以訪問(wèn)大量現(xiàn)實(shí)世界數(shù)據(jù)集。它通過(guò)組合以前需要多個(gè)深度學(xué)習(xí)庫(kù)的功能來(lái)簡(jiǎn)化流程。
開(kāi)源模塊化框架Isaac Lab提供模擬 加快機(jī)器人學(xué)習(xí)
英偉達(dá)同時(shí)推出Isaac Lab，它是一個(gè)用于機(jī)器人學(xué)習(xí)的開(kāi)源模塊化框架，可以解決傳統(tǒng)訓(xùn)練方法對(duì)機(jī)器人學(xué)習(xí)技能的限制。
Isaac Lab 為不同的訓(xùn)練環(huán)境提供模塊化的高保真模擬，提供物質(zhì)世界AI功能和 GPU 驅(qū)動(dòng)的物質(zhì)世界模擬。
Isaac Lab 支持模仿學(xué)習(xí)（模仿人類）和強(qiáng)化學(xué)習(xí)（通過(guò)反復(fù)試驗(yàn)學(xué)習(xí)），為任何機(jī)器人實(shí)現(xiàn)提供靈活的訓(xùn)練方法。它為訓(xùn)練場(chǎng)景提供了一個(gè)用戶友好的環(huán)境，可幫助機(jī)器人制造商根據(jù)不斷變化的業(yè)務(wù)需求添加或更新機(jī)器人技能。
用英偉達(dá)NIM和VIA微服務(wù)打造VLM 驅(qū)動(dòng)的視覺(jué)AI代理
英偉達(dá)為物質(zhì)世界的AI量身定制了NIM，支持語(yǔ)音和翻譯、視覺(jué)以及逼真的動(dòng)畫(huà)和行為。英偉達(dá)推出VIA微服務(wù)，現(xiàn)已可在開(kāi)發(fā)者預(yù)覽版中下載。
VIA微服務(wù)可以輕松與NIM集成，用戶可以在英偉達(dá)的模型預(yù)覽API和可下載NIM微服務(wù)API目錄中靈活使用任何LLM或VLM模型。VIA微服務(wù)是英偉達(dá)Metropolis微服務(wù)的擴(kuò)展，是云原生構(gòu)建塊，可加快VLM和NIM驅(qū)動(dòng)的視覺(jué)AI代理開(kāi)發(fā)速度，無(wú)論部署在邊緣還是云端。
借助生成式 AI、NIM微服務(wù)和基礎(chǔ)模型，現(xiàn)在用戶可以用更少的模型，構(gòu)建具有廣泛感知和豐富上下文理解的App。VLM支持能夠理解自然語(yǔ)言提示并執(zhí)行視覺(jué)問(wèn)答的視覺(jué) AI 代理。視覺(jué)AI代理使用計(jì)算機(jī)視覺(jué)功能來(lái)感知物質(zhì)世界并與其交互、執(zhí)行推理任務(wù)。
這些代理能充分釋放了各行各業(yè)應(yīng)用的可能性，它們能顯著簡(jiǎn)化App開(kāi)發(fā)的工作流程，并提供了變革性的新感知功能，例如圖像或視頻摘要、交互式視覺(jué)問(wèn)答和視覺(jué)警報(bào)。這些視覺(jué)AI代理將可以部署在工廠、倉(cāng)庫(kù)、零售店、機(jī)場(chǎng)、交通路口等地，將幫助運(yùn)營(yíng)團(tuán)隊(duì)利用自然互動(dòng)中產(chǎn)生的更豐富見(jiàn)解，做出更好的決策。
Omniverse Replicator幫助解決限制模型訓(xùn)練的數(shù)據(jù)短缺問(wèn)題
英偉達(dá)介紹了如何用NIM微服務(wù)為USD建立自定義合成數(shù)據(jù)生成 (SDG) 管道，該微服務(wù)采用了英偉達(dá)的Omniverse Replicator。Omniverse Replicator是基于通用場(chǎng)景描述 (OpenUSD) 和英偉達(dá)RTX構(gòu)建的 SDK。
開(kāi)發(fā)人員可以使用 NIM微服務(wù)和 Omniverse Replicator 等來(lái)構(gòu)建支持生成式AI 的SDG管道，解決通常會(huì)限制模型訓(xùn)練的現(xiàn)實(shí)世界數(shù)據(jù)短缺問(wèn)題。
英偉達(dá)的Omniverse和模擬技術(shù)副總裁 Rev Lebaredian 說(shuō)：
“我們構(gòu)建了世界上第一個(gè)能夠理解基于OpenUSD的語(yǔ)言、幾何、材料、物理和空間的生成式AI模型?！?/p>
Lebaredian稱，2016 年以來(lái)，英偉達(dá)一直在投資OpenUSD，使工業(yè)企業(yè)和物質(zhì)AI開(kāi)發(fā)人員能夠更輕松、更快地開(kāi)發(fā)高性能模型。
英偉達(dá)還與共同創(chuàng)立了OpenUSD聯(lián)盟的蘋(píng)果合作，構(gòu)建了從英偉達(dá)由圖形就緒數(shù)據(jù)中心組成的網(wǎng)絡(luò)——Graphics Delivery Network、到蘋(píng)果Apple Vision Pro在內(nèi)的混合渲染管道流。
