12 月 19 日消息,12 月 18 日,北京人形機(jī)器人創(chuàng)新中心正式開源國內(nèi)首個且唯一通過具身智能國標(biāo)測試的具身 VLA 大模型 XR-1,以及配套的數(shù)據(jù)基礎(chǔ) RoboMIND 2.0、ArtVIP 最新版。
圍繞“具身天工”平臺,北京人形已發(fā)布具身天工 2.0、天軼 2.0 等多類型通用本體,為人形機(jī)器人干活奠定物理本體基礎(chǔ)。而具身大腦和小腦的協(xié)同是人形機(jī)器人干活的另一前提,目前圍繞“慧思開物”,北京人形已開源 WoW(我悟)世界模型和 Pelican-VL(天鶘)等具身大腦相關(guān)成果。
本次開源的系列內(nèi)容,是面向具身小腦能力的 VLA 模型 XR-1,以及為 XR-1 等模型提供數(shù)據(jù)訓(xùn)練支持的 RoboMIND 2.0 和 ArtVIP。

在今年 8 月的 WRC 世界機(jī)器人大會上,北京人形正式發(fā)布了跨本體 VLA 模型 XR-1,它具備多場景、多本體、多任務(wù)特性,并且還擁有高泛化性等優(yōu)勢特點。
背后的技術(shù)原理在于,XR-1 具備跨數(shù)據(jù)源學(xué)習(xí)、跨模態(tài)對齊、跨本體控制三大核心支柱能力。首先,通過跨數(shù)據(jù)源學(xué)習(xí)讓機(jī)器人能夠利用海量人類視頻進(jìn)行訓(xùn)練,降低訓(xùn)練成本提升訓(xùn)練效率;其次,依靠跨模態(tài)對齊能夠打破視覺和動作的隔閡,讓機(jī)器人做到真正的知行合一;最后,借助跨本體控制可以讓 XR-1 快速匹配不同類型、不同品牌的機(jī)器人本體。


XR-1 首創(chuàng)結(jié)合虛實數(shù)據(jù)的三階段訓(xùn)練范式:
第一階段:輸入積累超百萬級的虛實多本體數(shù)據(jù)、人類視頻數(shù)據(jù),由 XR-1 把這些復(fù)雜的畫面和動作壓縮成一個包含許多離散代碼的“字典”,便于機(jī)器人后續(xù)隨時調(diào)用需要的“動作代碼”;
第二階段:用大規(guī)模的跨本體機(jī)器人數(shù)據(jù)來預(yù)訓(xùn)練 XR-1,讓它懂得物理世界的基本規(guī)律,比如“松手東西會掉”、“推門門會開”;
第三階段:針對不同的任務(wù)場景(例如:分揀、搬箱子、疊衣服等)用少量的特定數(shù)據(jù)進(jìn)行微調(diào);最終讓機(jī)器人從一個“學(xué)富五車”的理論大師,蛻變?yōu)橐粋€“心靈手巧”的干活專家。
附 XR-1 項目主頁:
https://github.com/Open-X-Humanoid/XR-1
RoboMIND2.0:
https://modelscope.cn/collections/X-Humanoid/RoboMIND20
ArtVIP:
https://huggingface.co/datasets/x-humanoid-robomind/ArtVIP

