機器人前瞻1月7日報道,今天,全球規(guī)模最大的消費類電子產(chǎn)品展CES在美國拉斯維加斯開幕。 英偉達創(chuàng)始人兼CEO黃仁勛發(fā)表了主題演講,談及多項英偉達在機器人領(lǐng)域的最新技術(shù)成果,包括首款生成式世界基礎(chǔ)模型開發(fā)平臺Cosmos、4個全新Omniverse Blueprint、可應(yīng)用于傳統(tǒng)機器人領(lǐng)域Thor芯片等。
英偉達的機器人軍團亮相,14家企業(yè)中有6家是中國企業(yè),包括宇樹、智元、星動紀元、銀河通用、傅利葉、小鵬。黃仁勛還提出,要與多家全球知名的機器人操作系統(tǒng)企業(yè)、機器人傳感器制造商、機器人本體制造企業(yè)等合作共建機器人生態(tài)系統(tǒng)。
01.首款世界基礎(chǔ)模型開發(fā)平臺亮相,專為機器人開發(fā)
黃仁勛判斷,機器人的ChatGPT時刻即將到來,而世界基礎(chǔ)模型對于推進機器人和自動駕駛汽車的開發(fā)至關(guān)重要。
他現(xiàn)場發(fā)布了生成式世界基礎(chǔ)模型開發(fā)平臺Cosmos,這是英偉達的首款生成式世界基礎(chǔ)模型開發(fā)平臺,專為開發(fā)機器人和自動駕駛而設(shè)計,旨在加速先進物理AI開發(fā)。
開 發(fā)人員可以使用Cosmos模型進行文本到世界和視頻到世界的生成,所生成的基于物理的合成數(shù)據(jù),能夠加速模型訓(xùn)練。
NVIDIA Cosmos
Cosmos有3款:
1)Nano(約15B): 針對實時、低延遲推理和邊緣部署進行了優(yōu)化;
2)Super(34B):用于高性能基線模型;
3)Ultra(約70B):以獲得最大的質(zhì)量和保真度,最適合用于提取定制模型。
這些模型接受了18000萬億次tokens的訓(xùn)練,包括2000萬小時的真實世界自動駕駛、機器人、無人機鏡頭和合成數(shù)據(jù)。
其他模型包括:120億參數(shù)上采樣模型,用于精煉文本提示;70億參數(shù)視頻解碼器,用于優(yōu)化增強現(xiàn)實;護欄模型,確保可靠、安全地使用。
Cosmos的tokenizers提供8倍的總壓縮和12倍的處理速度,在訓(xùn)練和推理方面提供了更出色的質(zhì)量和更低的計算成本。
Cosmos在圖像及文本token訓(xùn)練的基礎(chǔ)上,為人形機器人輸出行動token
Omniverse和Cosmos相結(jié)合,使開發(fā)人員能夠更輕松地生成大量可控、逼真的合成數(shù)據(jù),幫助物理AI模型做出更好的行動,還有助于減少世界模型相關(guān)的潛在幻覺。
1X、Agile Robots、Agility Robotics、Figure AI、小鵬、Foretellix、Uber、Waabi、Wayve等機器人企業(yè)都采用Cosmos加速和加強模型開發(fā)。
集成Cosmos 的Omniverse
02.機器人軍團亮相,構(gòu)建機器人生態(tài)系統(tǒng)
黃仁勛的機器人軍團在演講中亮相了。分別是Apptronik的Apollo機器人、星動紀元的Star1機器人、智元機器人的遠征A2機器人、NEURA Robotics的4NE-1機器人、傅利葉的GR-2機器人、Agility Robotics的Digit機器人、Figure的Figure 02機器人、1X的NEO機器人、銀河通用的G1機器人、Mentee的MnteeBot機器人、宇樹的H1機器人、小鵬的Iron機器人、Sanctuary Al的Phoenix機器人。
其中,共有6家中國機器人企業(yè)。
黃仁勛的機器人軍團亮相
黃仁勛還提到了機器人技術(shù)三機協(xié)同解決方案,該方案融合了DGX系統(tǒng)、搭載 Cosmos的Omniverse以及AGX的優(yōu)勢,形成了一個從訓(xùn)練到優(yōu)化再到執(zhí)行的完整體系。
具體來說,DGX系統(tǒng)負責(zé)基礎(chǔ)訓(xùn)練,Omniverse負責(zé)處理優(yōu)化和強化學(xué)習(xí),AGX負責(zé)在現(xiàn)實環(huán)境中執(zhí)行推理任務(wù)。
英偉達機器人三機協(xié)同方案
英偉達也已經(jīng)與眾多解決方案與服務(wù)提供商、AI視覺、機器人操作系統(tǒng)企業(yè)、機器人傳感器制造商、機器人本體制造企業(yè)等達成合作,共建機器人生態(tài)系統(tǒng)。
英偉達機器人生態(tài)系統(tǒng)
03.Omnvierse Blueprint:攻克人形機器人訓(xùn)練難題
黃仁勛介紹,機器人領(lǐng)域最大的挑戰(zhàn)是訓(xùn)練方法,與自動駕駛汽車的訓(xùn)練相比(只需要實際駕駛),讓機器人學(xué)習(xí)人類工作方式要復(fù)雜得多。
英偉達發(fā)布了Isaac GR00T合成運動生成Blueprint,團隊可以采用遠程操作和人體動作捕捉技術(shù)的方式,來創(chuàng)建基礎(chǔ)訓(xùn)練樣本,再通過算法生成大量變體用于深度訓(xùn)練。這樣的方式能夠為機器人訓(xùn)練積累海量的數(shù)據(jù)。
波士頓動力、Figure等人形機器人公司已經(jīng)開始采用并展示Isaac GR00T的結(jié)果。
NVIDIA Isaac Groot
另外,英偉達還發(fā)布了4個全新Omniverse Blueprint,使開發(fā)人員更容易為物理AI構(gòu)建基于OpenUSD(通用場景描述)的數(shù)字孿生,包括 Mega工業(yè)機器人隊列數(shù)字孿生、自動駕駛汽車仿真、面向蘋果Vision Pro的Omniverse空間流播、面向計算機輔助工程(CAE)的實時數(shù)字孿生。
Mega工業(yè)機器人隊列數(shù)字孿生:由Omniverse Sensor RTX API提供支持,用于在部署到現(xiàn)實世界的設(shè)施之前,在數(shù)字孿生中大規(guī)模開發(fā)、測試和優(yōu)化物理AI和機器人隊列。
面向計算機輔助工程(CAE)的實時數(shù)字孿生:基于NVIDIA CUDA-X加速、物理AI和Omniverse庫構(gòu)建的參考工作流,可實現(xiàn)實時物理可視化。
Mega工業(yè)機器人隊列數(shù)字孿生
英偉達發(fā)布了Thor芯片,Thor芯片已開始量產(chǎn),其處理能力較上一代Orin提升了 20倍。除了汽車領(lǐng)域,Thor還可應(yīng)用于傳統(tǒng)機器人領(lǐng)域。
Thor芯片
04.結(jié)語:通用機器人技術(shù)將迎來飛躍式發(fā)展
在2025CES的開幕演講中,英偉達大秀其為機器人訓(xùn)練等環(huán)節(jié)所提供的解決方案,致力于打造全方位的機器人生態(tài)系統(tǒng),進一步凸顯自身作為機器人產(chǎn)業(yè)關(guān)鍵平臺的重要角色。
黃仁勛談道,AI的發(fā)展,將從當(dāng)前的生成式AI到Agentic AI,未來還將出現(xiàn)Physical AI,其應(yīng)用范圍涵蓋智能駕駛和機器人等,而這也是英偉達的發(fā)展目標(biāo)。
正如黃仁勛所預(yù)言的那樣,機器人領(lǐng)域的ChatGPT時刻已然臨近,人形機器人時代即將開啟,這無疑都象征著通用機器人技術(shù)即將迎來重大突破與飛躍式發(fā)展。