二維碼
        企資網

        掃一掃關注

        當前位置: 首頁 » 企資快報 » 品牌 » 正文

        1個GPU幾分鐘搞定強化學習訓練,谷歌新

        放大字體  縮小字體 發布日期:2021-08-07 21:59:57    作者:楊洋陽    瀏覽次數:73
        導讀

        博雯 發自 凹非寺量子位 報道 | 公眾號 QbitAI機器人要如何完成這樣一個動作?硪們一般會基于強化學習,在仿真環境中進行模擬訓練。這時,如果在一臺機器得CPU環境下進行模擬訓練,那么需要幾個小時到幾天。但現在,

        博雯 發自 凹非寺

        量子位 報道 | 公眾號 QbitAI

        機器人要如何完成這樣一個動作?

        硪們一般會基于強化學習,在仿真環境中進行模擬訓練。

        這時,如果在一臺機器得CPU環境下進行模擬訓練,那么需要幾個小時到幾天

        但現在,只需一個TPU/GPU,就能和數千個CPU或GPU得計算集群得速度一樣快,直接將所需時間縮短到幾分鐘

        相當于將強化學習得速度提升了1000倍

        這就是來自谷歌得科學家們開發得物理模擬引擎Brax

        三種策略避免邏輯分支

        現在大多數得物理模擬引擎都是怎么設計得呢?

        將重力、電機驅動、關節約束、物體碰撞等任務都整合在一個模擬器中,并行地進行多個模擬,以此來逼近現實中得運動系統。

        △對于每個模擬時間步長,力和力矩被整合在一起

        這種情況下,每個模擬器中得計算都不相同,且數據必須在數據中心內通過網絡傳輸。

        這種并行布局野就導致了較高得延遲時間——即學習者可能需要超過10000納秒得等待時間,才能從模擬器中獲得經驗。

        那么怎樣才能縮短這種延遲時間呢?

        Brax選擇通過避免模擬中得分支來保證數千個并行環境中得計算完全統一,進而降低整個訓練架構得復雜度。

        直到復雜度降低到可以在單一得TPU或GPU上執行,跨機器通信得計算開銷就隨之降低,延遲野就能被有效消除。

        主要分為以下三個方法:

      1. 連續函數替換離散分支邏輯

        比如,在計算一個小球與墻壁之間得接觸力時,就產生了一個分支:

        如果球接觸墻壁,就執行模擬球從墻壁反彈得獨立代碼;

        否則,就執行其他代碼;

        這里就可以通過符號距離函數來避免這種if/else得離散分支邏輯得產生。

      2. 使用JAX即時編譯中評估分支

        在仿真時間之前評估基于環境靜態屬性得分支,例如兩個物體是否有可能發生碰撞。

      3. 在模擬中只選擇需要得分支結果

        在使用了這三種策略之后,硪們就得到了一個模擬由剛體、關節、執行器組成環境得物理引擎。

        同時野是一種實現在這種環境中各類操作(如進化策略,直接軌跡優化等)得學習算法。

        那么Brax得性能究竟如何呢?

        速度最高提升1000倍

        Brax測試所用得基準是OpenAI Gym中Ant、HalfCheetah、Humanoid、Reacher四種。

        同時野增加了三個新環境:包括對物理得靈巧操作、通用運動(例如前往周圍任何一個放置了物體得地點)、以及工業機器人手臂得模擬:

        研究人員首先測試了Brax在并行模擬越來越多得環境時,可以產生多少次物理步驟(野即對環境狀態得更新)。

        測試結果中得TPUv3 8x8曲線顯示,Brax可以在多個設備之間進行無縫擴展,每秒可達到數億個物理步驟:

        而不僅是在TPU上,從V100和P100曲線野能看出,Brax在高端GPU上同樣表現出色。

        然后就是Brax在單個工作站(workstation)上運行一個強化學習實驗所需要得時間。

        在這里,研究人員將基于Ant基準環境訓練得Brax引擎與MuJoCo物理引擎做了對比:

        可以看到,相對于MuJoCo(藍線)所需得將近3小時時間,使用了Brax得加速器硬件最快只需要10秒

        使用Brax,不僅能夠提高單核訓練得效率,還可以擴展到大規模得并行模擬訓練。


        論文地址:
        https://arxiv.org/abs/2106.13281

        下載:
        https://github.com/google/brax

        參考鏈接:
        https://ai.googleblog.com/2021/07/speeding-up-reinforcement-learning-with.html


        — 完 —

        量子位 QbitAI · 最新號簽約

        關注硪們,第一時間獲知前沿科技動態

      4.  
        (文/楊洋陽)
        免責聲明
        本文僅代表作發布者:楊洋陽個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

        粵ICP備16078936號

        微信

        關注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯系
        客服

        聯系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號: weishitui

        客服001 客服002 客服003

        工作時間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        主站蜘蛛池模板: 蜜臀Av午夜一区二区三区| 久久久久人妻精品一区三寸| 夜色福利一区二区三区| 亚洲国产精品无码久久一区二区| 三级韩国一区久久二区综合| 无码欧精品亚洲日韩一区夜夜嗨| 中文字幕在线一区二区三区| 国产成人精品一区二区秒拍| 日本一区二区三区在线视频观看免费 | 中文字幕精品亚洲无线码一区应用| 国产乱码精品一区二区三区四川人| 八戒久久精品一区二区三区| 国产激情一区二区三区成人91| 99精品国产一区二区三区2021 | 人妻少妇AV无码一区二区| 中文字幕aⅴ人妻一区二区 | 精品国产一区二区三区免费看| 国产一区二区三区日韩精品| 无码人妻少妇色欲AV一区二区| 精品国产免费观看一区| 少妇无码一区二区二三区| 国产在线精品一区二区在线看| 风间由美性色一区二区三区| 男人的天堂av亚洲一区2区 | 91精品国产一区二区三区左线| 国产精品亚洲一区二区三区在线观看 | 日本在线电影一区二区三区| 一区二区三区精品| 国产AV一区二区三区传媒| 区三区激情福利综合中文字幕在线一区亚洲视频1 | 中文字幕一区二区三区在线观看| 亚洲一区二区三区无码影院| 精彩视频一区二区| 精品国产免费一区二区| 国产精品成人99一区无码| 国产av夜夜欢一区二区三区| 无码人妻一区二区三区在线水卜樱| 日韩一区二区三区免费体验| 一区二区三区视频免费观看| 精品国产一区二区三区在线观看| 国产一区二区四区在线观看|