-
日期: 2024-03-26 | 來源: 新智元 | 有0人參與評論 | 字體: 小 中 大
UC伯克利的雙足機器人,400米直接跑進了2分34秒,這個速度屬實是超越不少人類了。而背後的RL通用框架,讓它無論是站立,還是跑步、跳高、跳遠,動作都拾分絲滑。
UC伯克利的雙足機器人,跑步又破紀錄了!
最近,HYBRID ROBOTICS研究團隊的Cassie,給我們來了壹段驚艷的表演——
以2分34秒的成績,跑完了400米!
隨後,它又在不需要額外訓練的情況下,完成了1.4米的跳遠。
是的,相信你已經注意到了,它的外形拾分獨特——只有下半身!
沒錯,跑步什麼的,要上半身幹啥。
400米沖刺腳下生風
沒有腿意味著什麼?當然是——速度就是壹切!
壹聲令下,Cassie就開始跑400米了。
只見它兩腳生風,腳步敏捷。
就是,不知道腳下這雙跑鞋有沒有速度加成?
可以看到,Cassie的跑步姿勢拾分標准,沒有任何累贅的動作。
而研究人員則全程跟在後面陪跑。
現在,Cassie在做最後的沖刺,它集中精力壹鼓作氣,壹躍而沖過了終點線。
它最後的成績是——2分34秒!
這個成績,或許已經超越了不少人類。
算起來,Cassie的步速是每分155.6米。
在21年,Cassie在中途不充電的條件下,完成了5公裡的戶外長跑,用時53分鍾,這個步速是每分94.3米。
這個進步是肉眼可見的。
Cassie是利用神經網絡強化學習進行訓練的,因此,它可以從頭掌握簡單的技能,比如原地跳躍、向前走或跑而不摔倒。
它被孤立模仿人體動捕的數據,和動作的演示動畫。
最後,團隊還測試了Cassie的跳遠能力,注意,這是在它沒有經過額外訓練的情況下。
它的成績是1.4米。
RL通用框架,跑步、跳高、跳遠多才多藝
Cassie怎麼這麼強?
我們在這篇發表於1月底的論文中,找到了答案。
論文地址:https://arxiv.org/pdf/2401.16889.pdf
利用深度強化學習(RL),研究者為雙足機器人創建了動態運動控制器。
他們開發出了壹種通用控制解決方案,可用於壹系列動態雙足技能,比如周期性行走,跑步,以及非周期性的跳躍和站立。
這個通用控制框架,可以實現各種周期性和非周期性的雙足運動技能
基於強化學習的控制器,他們采用了新穎的雙歷史架構,利用了機器人的長期和短期輸入/輸出(I/O)歷史。
當通過端到端強化學習方法進行訓練時,這種控制架構在模擬和現實世界中的各種技能上,都始終優於其他方法。
另外,RL系統還引入了適應性和魯棒性。
可以證明,通過有效利用機器人的I/O歷史記錄,架構就可以適應各種變化,如接觸事件。
魯棒性的另壹個關鍵來源,就是任務隨機化。
因此,我們就看到了Cassie的各種運動技能。比如穩穩地站立,多才多藝地步行,快速跑步,以及各種跳高和跳遠。
這個研究所基於RL的控制器架構如下圖,它利用了機器人的輸入和輸出(I/O)的雙重歷史記錄。
利用這個多階段的訓練框架,就可以獲得零樣本轉移到現實世界的通用控制策略。
如下是基於RL的雙足機器人運動控制策略架構各種基線的圖示。
利用研究者開發的多功能跑步策略,Cassie成功完成了400米沖刺。
這個過程是使用單壹跑步策略完成的。
它使得機器人能夠從站立姿勢轉變為平均2.15m/s和峰值3.54m/s的快速跑步步態。
使用微調的跑步策略,Cssie還以快速的跑步步態完成了100米短跑。
用訓GPT的方法,訓出人形機器人
400米2分34秒破紀錄,伯克利雙足機器人「接管」人類
新智元·2024-03-26 06:05
關注
用訓GPT的方法,訓出人形機器人
UC伯克利的雙足機器人,400米直接跑進了2分34秒,這個速度屬實是超越不少人類了。而背後的RL通用框架,讓它無論是站立,還是跑步、跳高、跳遠,動作都拾分絲滑。
UC伯克利的雙足機器人,跑步又破紀錄了!
最近,HYBRID ROBOTICS研究團隊的Cassie,給我們來了壹段驚艷的表演——
以2分34秒的成績,跑完了400米!
隨後,它又在不需要額外訓練的情況下,完成了1.4米的跳遠。
是的,相信你已經注意到了,它的外形拾分獨特——只有下半身!
沒錯,跑步什麼的,要上半身幹啥。
400米沖刺腳下生風
沒有上半身意味著什麼?當然是——速度就是壹切!
壹聲令下,Cassie就開始跑400米了。
只見它兩腳生風,腳步敏捷。
就是,不知道腳下這雙跑鞋有沒有速度加成?
可以看到,Cassie的跑步姿勢拾分標准,沒有任何累贅的動作。
而研究人員則全程跟在後面陪跑。
現在,Cassie在做最後的沖刺,它集中精力壹鼓作氣,壹躍而沖過了終點線。
它最後的成績是——2分34秒!
這個成績,或許已經超越了不少人類。
算起來,Cassie的步速是每分155.6米。
在21年,Cassie在中途不充電的條件下,完成了5公裡的戶外長跑,用時53分鍾,這個步速是每分94.3米。
這個進步是肉眼可見的。
Cassie是利用神經網絡強化學習進行訓練的,因此,它可以從頭掌握簡單的技能,比如原地跳躍、向前走或跑而不摔倒。
它被鼓勵模仿人體動捕的數據,和動作的演示動畫。
最後,團隊還測試了Cassie的跳遠能力,注意,這是在它沒有經過額外訓練的情況下。
它的成績是1.4米。
RL通用框架,跑步、跳高、跳遠多才多藝
Cassie怎麼這麼強?
我們在這篇發表於1月底的論文中,找到了答案。
論文地址:https://arxiv.org/pdf/2401.16889.pdf
利用深度強化學習(RL),研究者為雙足機器人創建了動態運動控制器。
他們開發出了壹種通用控制解決方案,可用於壹系列動態雙足技能,比如周期性行走,跑步,以及非周期性的跳躍和站立。
這個通用控制框架,可以實現各種周期性和非周期性的雙足運動技能
基於強化學習的控制器,他們采用了新穎的雙歷史架構,利用了機器人的長期和短期輸入/輸出(I/O)歷史。
當通過端到端強化學習方法進行訓練時,這種控制架構在模擬和現實世界中的各種技能上,都始終優於其他方法。
另外,RL系統還引入了適應性和魯棒性。
可以證明,通過有效利用機器人的I/O歷史記錄,架構就可以適應各種變化,如接觸事件。
魯棒性的另壹個關鍵來源,就是任務隨機化。
因此,我們就看到了Cassie的各種運動技能。比如穩穩地站立,多才多藝地步行,快速跑步,以及各種跳高和跳遠。
這個研究所基於RL的控制器架構如下圖,它利用了機器人的輸入和輸出(I/O)的雙重歷史記錄。
利用這個多階段的訓練框架,就可以獲得零樣本轉移到現實世界的通用控制策略。
如下是基於RL的雙足機器人運動控制策略架構各種基線的圖示。
利用研究者開發的多功能跑步策略,Cassie成功完成了400米沖刺。
這個過程是使用單壹跑步策略完成的。
它使得機器人能夠從站立姿勢轉變為平均2.15m/s和峰值3.54m/s的快速跑步步態。
使用微調的跑步策略,Cssie還以快速的跑步步態完成了100米短跑。
用訓GPT的方法,訓出人形機器人
機器人接管舊金山?
在今年1月,UC伯克利的人形機器人顯眼包「小綠」,就曾經大規模引起了人們的注意。
那時它長這樣——
看著挺好,就是沒脖子。
只見它在圍觀人群的驚歎聲中,大搖大擺地走出UC伯克利校門。
在操場草坪上,跟大爺壹樣練習倒步走。
身影遍布UC伯克利校園的各個角落。
甚至引起網友驚呼:機器人接管舊金山了?
預測下壹個動作,控制人形機器人行走
不久後,就在2月底,UC伯克利就發表了壹篇重磅論文,介紹「小綠」是怎麼訓練出的。
論文地址:https://arxiv.org/pdf/2402.19469.pdf
在這篇論文中,他們介紹了訓練人形機器人的方法——跟訓練GPT的方法是壹樣的。
用這種訓練GPT的方法,研究者成功地訓練出了人形機器人的類人運動。
重點就是:通過預測下壹個動作,來控制人形機器人的行走。
人體運動作為下壹個token預測
在壹系列模擬軌跡上,他們對模型進行了訓練。
而這些軌跡,來自之前的神經網絡策略。
使用不同數據源進行訓練的通用框架
人形機器人所學習的,就是基於模型的控制器、動捕數據和YouTube上的人類視頻。
訓練數據集的4個來源
結果,這個模型能讓全尺寸的人形機器人在完全未經訓練的情況下,直接完成行走!
僅僅用了27個小時的訓練,模型就能在現實世界中泛化了。
而訓練過程中從未見過的指令,機器人也能應對。
從此,機器人可以學習真實世界的控制任務了。
參考資料
https://arxiv.org/abs/2402.19469
https://arxiv.org/abs/2401.16889- 新聞來源於其它媒體,內容不代表本站立場!
-
原文鏈接
原文鏈接:
目前還沒有人發表評論, 大家都在期待您的高見