人類只需要演示五次,就能讓機(jī)器人學(xué)會一項復(fù)雜技能。
英偉達(dá)實驗室,提出了機(jī)器人訓(xùn)練數(shù)據(jù)缺乏問題的新解決方案 ——DexMimicGen。五次演示之后,DexMimicGen 就可以直接模仿出 1000 個新的 demo。
而且可用性強(qiáng),用這些新 demo 訓(xùn)練出的機(jī)器人,在仿真環(huán)境中的任務(wù)成功率可以高達(dá) 97%,比用真人數(shù)據(jù)效果還要好。
參與此項目的英偉達(dá)科學(xué)家范麟熙(Jim Fan)認(rèn)為,這種用機(jī)器訓(xùn)練機(jī)器的方式,解決了機(jī)器人領(lǐng)域最大的痛點(指數(shù)據(jù)收集)。
同時,Jim Fan 還預(yù)言:
機(jī)器人數(shù)據(jù)的未來是生成式的,整個機(jī)器人學(xué)習(xí)流程的未來也將是生成式的。
值得一提的是,DexMimicGen 三名共同一作都是李飛飛的“徒孫”,具體說是德克薩斯大學(xué)奧斯汀分校(UT 奧斯?。┲斫淌谥煊窨桑╕uke Zhu)的學(xué)生。
而且三人均為華人,目前都在英偉達(dá)研究院實習(xí)。
5 次演示,生成 1000 條數(shù)據(jù)
如前所述,DexMimicGen 可以僅根據(jù)人類的 5 次演示,生成 1000 個新 DEMO。
在整個實驗中,作者設(shè)置了 9 個場景,涵蓋了 3 種機(jī)器人形態(tài),共進(jìn)行了 60 次演示,獲得了 21000 多個生成 DEMO。
在仿真環(huán)境當(dāng)中,用 DexMimicGen 生成數(shù)據(jù)訓(xùn)練出的策略執(zhí)行整理抽屜這一任務(wù),成功率可達(dá) 76%,而單純使用人工數(shù)據(jù)只有 0.7%。