開源人形機器人端到端強化學(xué)習(xí)訓(xùn)練框架!星動紀元聯(lián)合清華大學(xué)、上海期智研究院發(fā)布Humanoid-Gym，開啟sim-to-real新時代!

2024年3月5日，具身智能與人形機器人公司星動紀元聯(lián)合清華大學(xué)、上海期智研究院開源了人形機器人強化學(xué)習(xí)訓(xùn)練框架Humanoid-Gym。此舉意在降低人形機器人算法的開發(fā)門檻，助力全球?qū)W界和業(yè)界的研究者們在人形機器人領(lǐng)域的創(chuàng)新工作。此前，星動紀元已在人形機器人強化學(xué)習(xí)技術(shù)上取得多項突破，并在全球范圍內(nèi)首次通過端到端強化學(xué)習(xí)實現(xiàn)人形機器人野外雪地行走和上下樓梯。鑒于人形機器人結(jié)構(gòu)的高度復(fù)雜性，其強化學(xué)習(xí)訓(xùn)練以及從模擬環(huán)境向真實世界遷移(即sim-to-real transfer)的過程，相較于四足機器人，往往更具挑戰(zhàn)性。Humanoid-Gym框架通過其精心設(shè)計的獎勵函數(shù)以及域隨機化技術(shù)， 顯著簡化了人形機器人的訓(xùn)練以及實現(xiàn)sim-to-real轉(zhuǎn)換的難度。目前，該框架已在星動紀元旗下的兩款機器人——小星(1.2米高)和小星max(1.65米高)上成功驗證。

project page:

https://sites.google.com/view/humanoid-gym/

Github 代碼庫:

https://github.com/roboterax/humanoid-gym

除了用sim-to-real驗證以外，另一個常見的做法是用第二個更高精度的仿真環(huán)境來做初步做驗證(sim-to-sim)。本次Humanoid-Gym開源后，用戶可以通過該框架輕松運用sim-to-sim轉(zhuǎn)換功能，先在更高精度的仿真環(huán)境Mujoco中進行初步驗證與篩選，從而提升sim-to-real轉(zhuǎn)換的效率和成功率。

除此之外，本開源項目還引入了若干評估指標，用以衡量訓(xùn)練策略的效果，包括但不限于速度追蹤、動作絲滑程度等。

此次開源的Humanoid-Gym訓(xùn)練框架，標志著星動紀元在人形機器人技術(shù)推廣和共享方面的積極姿態(tài)。通過降低進入門檻，星動紀元期望激發(fā)更多的創(chuàng)新思維和解決方案，共同推進人形機器人技術(shù)的未來發(fā)展。

據(jù)悉，星動紀元于2023年8月在北京成立，由清華大學(xué)交叉信息研究院孵化，致力于具身智能以及人形通用機器人技術(shù)和產(chǎn)品的研發(fā)。就在今年1月份，星動紀元剛剛完成超億元天使輪融資，由聯(lián)想創(chuàng)投領(lǐng)投。

此前，星動紀元有兩款型號的人形機器人產(chǎn)品：小星(XBot-S)和小星Max(XBot-L)，來適配不同應(yīng)用場景的需求。小星體型更小巧，動態(tài)性能強，可完成室內(nèi)外跑、跳、高速行走等動作。小星Max為全尺寸人形機器人，身型高度和成年人相當，手臂、腰部以及全身其他部位具備更高的自由度，還配有高自由度靈巧手，未來目標場景是在工廠制造場景或服務(wù)場景，替代人類完成各種各樣較為精細的操作。

（來源：星動紀元）