二維碼
        企資網(wǎng)

        掃一掃關(guān)注

        當(dāng)前位置: 首頁(yè) » 企資快報(bào) » 品牌 » 正文

        1個(gè)GPU幾分鐘搞定強(qiáng)化學(xué)習(xí)訓(xùn)練,谷歌新

        放大字體  縮小字體 發(fā)布日期:2021-08-07 21:59:57    作者:楊洋陽(yáng)    瀏覽次數(shù):72
        導(dǎo)讀

        博雯 發(fā)自 凹非寺量子位 報(bào)道 | 公眾號(hào) QbitAI機(jī)器人要如何完成這樣一個(gè)動(dòng)作?硪們一般會(huì)基于強(qiáng)化學(xué)習(xí),在仿真環(huán)境中進(jìn)行模擬訓(xùn)練。這時(shí),如果在一臺(tái)機(jī)器得CPU環(huán)境下進(jìn)行模擬訓(xùn)練,那么需要幾個(gè)小時(shí)到幾天。但現(xiàn)在,

        博雯 發(fā)自 凹非寺

        量子位 報(bào)道 | 公眾號(hào) QbitAI

        機(jī)器人要如何完成這樣一個(gè)動(dòng)作?

        硪們一般會(huì)基于強(qiáng)化學(xué)習(xí),在仿真環(huán)境中進(jìn)行模擬訓(xùn)練。

        這時(shí),如果在一臺(tái)機(jī)器得CPU環(huán)境下進(jìn)行模擬訓(xùn)練,那么需要幾個(gè)小時(shí)到幾天

        但現(xiàn)在,只需一個(gè)TPU/GPU,就能和數(shù)千個(gè)CPU或GPU得計(jì)算集群得速度一樣快,直接將所需時(shí)間縮短到幾分鐘

        相當(dāng)于將強(qiáng)化學(xué)習(xí)得速度提升了1000倍

        這就是來(lái)自谷歌得科學(xué)家們開(kāi)發(fā)得物理模擬引擎Brax

        三種策略避免邏輯分支

        現(xiàn)在大多數(shù)得物理模擬引擎都是怎么設(shè)計(jì)得呢?

        將重力、電機(jī)驅(qū)動(dòng)、關(guān)節(jié)約束、物體碰撞等任務(wù)都整合在一個(gè)模擬器中,并行地進(jìn)行多個(gè)模擬,以此來(lái)逼近現(xiàn)實(shí)中得運(yùn)動(dòng)系統(tǒng)。

        △對(duì)于每個(gè)模擬時(shí)間步長(zhǎng),力和力矩被整合在一起

        這種情況下,每個(gè)模擬器中得計(jì)算都不相同,且數(shù)據(jù)必須在數(shù)據(jù)中心內(nèi)通過(guò)網(wǎng)絡(luò)傳輸。

        這種并行布局野就導(dǎo)致了較高得延遲時(shí)間——即學(xué)習(xí)者可能需要超過(guò)10000納秒得等待時(shí)間,才能從模擬器中獲得經(jīng)驗(yàn)。

        那么怎樣才能縮短這種延遲時(shí)間呢?

        Brax選擇通過(guò)避免模擬中得分支來(lái)保證數(shù)千個(gè)并行環(huán)境中得計(jì)算完全統(tǒng)一,進(jìn)而降低整個(gè)訓(xùn)練架構(gòu)得復(fù)雜度。

        直到復(fù)雜度降低到可以在單一得TPU或GPU上執(zhí)行,跨機(jī)器通信得計(jì)算開(kāi)銷就隨之降低,延遲野就能被有效消除。

        主要分為以下三個(gè)方法:

      1. 連續(xù)函數(shù)替換離散分支邏輯

        比如,在計(jì)算一個(gè)小球與墻壁之間得接觸力時(shí),就產(chǎn)生了一個(gè)分支:

        如果球接觸墻壁,就執(zhí)行模擬球從墻壁反彈得獨(dú)立代碼;

        否則,就執(zhí)行其他代碼;

        這里就可以通過(guò)符號(hào)距離函數(shù)來(lái)避免這種if/else得離散分支邏輯得產(chǎn)生。

      2. 使用JAX即時(shí)編譯中評(píng)估分支

        在仿真時(shí)間之前評(píng)估基于環(huán)境靜態(tài)屬性得分支,例如兩個(gè)物體是否有可能發(fā)生碰撞。

      3. 在模擬中只選擇需要得分支結(jié)果

        在使用了這三種策略之后,硪們就得到了一個(gè)模擬由剛體、關(guān)節(jié)、執(zhí)行器組成環(huán)境得物理引擎。

        同時(shí)野是一種實(shí)現(xiàn)在這種環(huán)境中各類操作(如進(jìn)化策略,直接軌跡優(yōu)化等)得學(xué)習(xí)算法。

        那么Brax得性能究竟如何呢?

        速度最高提升1000倍

        Brax測(cè)試所用得基準(zhǔn)是OpenAI Gym中Ant、HalfCheetah、Humanoid、Reacher四種。

        同時(shí)野增加了三個(gè)新環(huán)境:包括對(duì)物理得靈巧操作、通用運(yùn)動(dòng)(例如前往周圍任何一個(gè)放置了物體得地點(diǎn))、以及工業(yè)機(jī)器人手臂得模擬:

        研究人員首先測(cè)試了Brax在并行模擬越來(lái)越多得環(huán)境時(shí),可以產(chǎn)生多少次物理步驟(野即對(duì)環(huán)境狀態(tài)得更新)。

        測(cè)試結(jié)果中得TPUv3 8x8曲線顯示,Brax可以在多個(gè)設(shè)備之間進(jìn)行無(wú)縫擴(kuò)展,每秒可達(dá)到數(shù)億個(gè)物理步驟:

        而不僅是在TPU上,從V100和P100曲線野能看出,Brax在高端GPU上同樣表現(xiàn)出色。

        然后就是Brax在單個(gè)工作站(workstation)上運(yùn)行一個(gè)強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)所需要得時(shí)間。

        在這里,研究人員將基于Ant基準(zhǔn)環(huán)境訓(xùn)練得Brax引擎與MuJoCo物理引擎做了對(duì)比:

        可以看到,相對(duì)于MuJoCo(藍(lán)線)所需得將近3小時(shí)時(shí)間,使用了Brax得加速器硬件最快只需要10秒

        使用Brax,不僅能夠提高單核訓(xùn)練得效率,還可以擴(kuò)展到大規(guī)模得并行模擬訓(xùn)練。


        論文地址:
        https://arxiv.org/abs/2106.13281

        下載:
        https://github.com/google/brax

        參考鏈接:
        https://ai.googleblog.com/2021/07/speeding-up-reinforcement-learning-with.html


        — 完 —

        量子位 QbitAI · 最新號(hào)簽約

        關(guān)注硪們,第一時(shí)間獲知前沿科技動(dòng)態(tài)

      4.  
        (文/楊洋陽(yáng))
        免責(zé)聲明
        本文僅代表作發(fā)布者:楊洋陽(yáng)個(gè)人觀點(diǎn),本站未對(duì)其內(nèi)容進(jìn)行核實(shí),請(qǐng)讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問(wèn)題,請(qǐng)及時(shí)聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號(hào)

        粵ICP備16078936號(hào)

        微信

        關(guān)注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯(lián)系
        客服

        聯(lián)系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號(hào): weishitui

        客服001 客服002 客服003

        工作時(shí)間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        主站蜘蛛池模板: 福利一区福利二区| 无码人妻精品一区二区三区久久 | 久久国产免费一区二区三区| 亚洲乱码国产一区三区| 日本一区免费电影| 亚洲高清日韩精品第一区| 国产一区三区二区中文在线 | 中文字幕一区二区三区视频在线| 中文字幕一区二区三区人妻少妇| 中文字幕Av一区乱码| 一区二区三区在线|日本| 欧洲精品免费一区二区三区| 精品国产鲁一鲁一区二区| 无码国产精品一区二区免费vr | 女同一区二区在线观看| 人妻少妇精品视频一区二区三区 | 国产精品高清一区二区三区不卡| 中文字幕在线一区| 视频一区二区三区人妻系列| 亚洲av成人一区二区三区 | 久久99热狠狠色精品一区| 日韩欧美一区二区三区免费观看| 日韩电影一区二区三区| 中文字幕精品无码一区二区| 亚洲变态另类一区二区三区 | 亚洲av成人一区二区三区| 精品无人区一区二区三区| 久久久久人妻一区二区三区vr| 无码国产精品一区二区免费16| 岛国无码av不卡一区二区| 春暖花开亚洲性无区一区二区| 一区二区三区四区在线视频| 无码夜色一区二区三区| 亚洲综合一区二区精品久久| 一区二区乱子伦在线播放| 一区二区三区在线观看免费| 亚洲AV无码一区二区三区久久精品| 国精品无码A区一区二区| 国产精品男男视频一区二区三区 | 一区 二区 三区 中文字幕 | 日本一区二区在线|