騰訊機(jī)器人最新動態(tài)：跟真狗學(xué)“奔跑跳躍”

Hi，大家好，我是Max，還記得我嗎？

騰訊自主研發(fā)的多模態(tài)四足機(jī)器人。（大家也可以叫我機(jī)器狗Max）

這次是和大家的第三次見面了。

(資料圖)

理由一樣，想你們了（不是）我又升級了。

上次是走梅花樁。

這次是學(xué)真狗。

用實驗室的專業(yè)術(shù)語說就是：將預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用到機(jī)器人控制領(lǐng)域。

翻譯一下，我在常見的動物行為數(shù)據(jù)集上進(jìn)行表征學(xué)習(xí)，將學(xué)到的潛在表達(dá)存放在深度神經(jīng)網(wǎng)絡(luò)中，讓我的動作和行為都接近動物。

這是之前的我↓↓↓

這是現(xiàn)在的我↓↓↓

再翻譯一下，就是，我去學(xué)習(xí)了真狗的動作（走、跑、跳、站立等動作），然后靈活運用這些姿態(tài)去解決新的各種障礙的任務(wù)（匍匐前進(jìn)、跨欄跑、障礙物之間的跑酷穿梭等）。

再對比一下現(xiàn)實中狗狗的動作↓↓↓

這樣看，是不是覺得我學(xué)習(xí)得不錯？

我知道，你一定會好奇我是怎么做到。

因為它↓↓↓

首先，收集動作數(shù)據(jù)

我們找來了一位專業(yè)的“動捕演員”，在主人的全程陪同和引導(dǎo)下，完成動作數(shù)據(jù)收集。

（狗狗身上貼著用于動捕的標(biāo)記點）

通過騰訊游戲的動捕技術(shù)收集一定數(shù)量的動物狗在平地上常規(guī)的運動姿態(tài)數(shù)據(jù)，包括走、跑、跳、站立等數(shù)據(jù)，游戲研發(fā)制作過程中積累的多元動捕素材也為此提供了幫助。

再利用重定向技術(shù)，可以讓這些數(shù)據(jù)在仿真引擎準(zhǔn)確和高效的映射到機(jī)器人本體。

（通過動捕綁定機(jī)器狗的骨骼）

然后，學(xué)習(xí)動作數(shù)據(jù)

利用這些數(shù)據(jù)，在仿真器中構(gòu)建了一個模仿學(xué)習(xí)任務(wù)，將這些數(shù)據(jù)中的信息學(xué)習(xí)并表達(dá)到我的神經(jīng)網(wǎng)絡(luò)上。（就像在腦子里植入了一本“武功秘籍”）

再然后，擬真世界受控訓(xùn)練

在擬真世界，感知自身的關(guān)節(jié)狀態(tài)，并按照隨機(jī)指令在平地練習(xí)和適應(yīng)自身的動作。（在腦海里，練習(xí)武功招式）

游戲技術(shù)以及數(shù)據(jù)對基于物理仿真的智能體訓(xùn)練以及真實世界機(jī)器人策略部署也起到了一定的輔助作用。

再再然后，加入外部環(huán)境訓(xùn)練

在擬真世界里，加入復(fù)雜環(huán)境因素。

訓(xùn)練我對動作數(shù)據(jù)的熟練度，并感知外部環(huán)境，運用學(xué)到的動作去應(yīng)對外部環(huán)境造成的各種障礙。（加入假想敵，和他們不停地過招。）

最后，就是大家看到的我了。

是的，整個過程都在虛擬世界里面訓(xùn)練而成，不需要進(jìn)行實機(jī)訓(xùn)練和調(diào)整。

接下來，派出兩個我的實體分身，來一段追逐游戲給大家展示下學(xué)習(xí)成果。

游戲規(guī)則講解：我和我的分身分別扮演追蹤和逃避的角色，雙方觸碰到旗子后，身份立即轉(zhuǎn)換，誰先抓到對方，便獲勝。

好，游戲開始！！

↑↑↑追逐——轉(zhuǎn)換——追逐（雙方你追我趕，互換著身份）

↑↑↑當(dāng)追蹤者意識到自己在逃避者碰到旗子之前已經(jīng)無法追上它的時候，追蹤者會放棄追蹤，而是在遠(yuǎn)離逃避者的位置徘徊，目的是為了等待下一個重置的旗子出現(xiàn)。

↑↑↑因為最后一次旗子出現(xiàn)的位置太遠(yuǎn)，逃避者判斷出旗子的位置被追蹤者攔在了中間，逃避者判斷不可能繞過逃避者去碰旗子，所以它會往角落里鉆，盡量拖延自己輸?shù)舯荣惖臅r間。

↑↑↑加入障礙后，我們也能順利穿越障礙，完成游戲。

當(dāng)追蹤者即將抓到逃避者的時刻，它跳起來向著逃避者做出一個"撲"的動作，非常類似動物捕捉獵物時候的行為。

“是不是覺得機(jī)器狗還能玩游戲很神奇？”

我能像動物般地玩游戲，是因為我還特地學(xué)習(xí)了策略層面知識的網(wǎng)絡(luò)參數(shù)，這個參數(shù)可以讓我學(xué)會游戲規(guī)則、懂思考、懂判斷。

最后，你一定會問，機(jī)器狗越來越像狗了，意義是什么？

其實，我剛剛誕生時，使用相對機(jī)械僵硬的動作，也能完成很多任務(wù)。

但隨著我的成長，會發(fā)現(xiàn)，如果不借鑒任何動物、生物體的特性，這種僵硬的動作，想要去處理復(fù)雜的任務(wù)是很困難的。

就像生物都會逐漸進(jìn)化成最合理的形態(tài)，去適應(yīng)復(fù)雜的生存環(huán)境。

未來，我想要完成更高難度的任務(wù)，例如搜尋和援救等緊急的工作。

我還要不停地進(jìn)化和適應(yīng)，變得更靈活、跳得更高，去自主完成更困難的任務(wù)。

當(dāng)然，相對冰冷的機(jī)械，大家肯定也更喜歡和接受擬真一點的可愛小機(jī)器狗吧~

對了，如果大家還想看更多技術(shù)詳解，可以戳文字查看~

好了，今天就到這了，我得繼續(xù)去訓(xùn)練了。

我是Max，期待下一次進(jìn)化，再和大家見面。

關(guān)鍵詞：