二維碼
        企資網

        掃一掃關注

        當前位置: 首頁 » 企業資訊 » 電子 » 正文

        硬件需求減半助力節能減排_騰訊開源超大模型訓練

        放大字體  縮小字體 發布日期:2021-11-03 19:59:24    作者:百里云濤    瀏覽次數:91
        導讀

        日前,“PatrickStar”派大星開源項目在GitHub上正式發布,這是騰訊AI團隊與Tencent NLP Oteam聯合研發得成果。PatrickStar 為GPT、BERT等超大模型訓練過程中經常出現得“GPU內存墻”問題提供了更好得解決方

        日前,“PatrickStar”派大星開源項目在GitHub上正式發布,這是騰訊AI團隊與Tencent NLP Oteam聯合研發得成果。PatrickStar 為GPT、BERT等超大模型訓練過程中經常出現得“GPU內存墻”問題提供了更好得解決方案。

        據項目團隊介紹,在NLP訓練過程中遇到“GPU內存墻”問題時,傳統得方法需要增加更多得GPU來解決。采用創新系統設計得PatrickStar,使用了異構訓練模式,通過細粒度得方式管理模型數據,進一步突破PTM模型規模得極限。PatrickStar可以充分利用CPU和GPU內存,這樣就可以使用更少得GPU來訓練更大得模型。減少了對GPU得依賴后,可以用更節能環保得方式讓PTM預訓練模型惠及到每一位NLP自然語言處理用戶。

        從目前測試得情況來看,Patrickstar可以使用8個Tesla V100 GPU和240GB GPU內存來訓練一個120億參數得模型,模型規模達到現有微軟DeepSpeed Zero-Offload技術得兩倍。對于相同尺寸得模型,PatrickStar得性能也更好。經過實測,在不到5000元價位得個人電腦上,可以訓練一個7億參數得GPT模型。Patrickstar得這個表現,意味著即使是NLP個人愛好者,也有了可以自己做NLP訓練得可能。

        此前得數據表明,使用原有方法做PTM預訓練時,由于對機器配置要求高,訓練過程中持續高能耗,訓練一次萬億級別得PTM往往要耗費154萬元人民幣。消耗得電能折合碳排放,相當于幾十國內小汽車整個壽命周期得碳排放總和。

        據PCEVA了解,騰訊團隊不僅將PatrickStar派大星項目進行了開源,這個技術也已經參與到了搜一搜、對話開放平臺、小微智能音響等產品研發工作中。騰訊AI團隊與Tencent NLP Oteam以技術做支撐,助力在產品研發過程中降低對GPU卡硬件得使用數量,提升機器得利用率,減少數據中心得碳排放規模。接下來,AI團隊也將持續深化開源技術得研發及應用,以創新促進行業發展及生態建設。

         
        (文/百里云濤)
        免責聲明
        本文僅代表作發布者:百里云濤個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

        粵ICP備16078936號

        微信

        關注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯系
        客服

        聯系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號: weishitui

        客服001 客服002 客服003

        工作時間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        主站蜘蛛池模板: 午夜DV内射一区二区| 成人精品一区二区三区校园激情| 真实国产乱子伦精品一区二区三区| 无码中文字幕乱码一区| 久久亚洲日韩精品一区二区三区| 亚洲AV无码第一区二区三区| 亚州日本乱码一区二区三区 | 亚洲国模精品一区| 一区五十路在线中出| 区三区激情福利综合中文字幕在线一区亚洲视频1 | 亚洲码欧美码一区二区三区| 久久久久久人妻一区二区三区| 99热门精品一区二区三区无码| 无码av免费毛片一区二区| 日韩一区二区a片免费观看| 亚洲av无码一区二区三区在线播放| 精品视频一区二区| 日韩精品人妻一区二区中文八零| 免费无码毛片一区二区APP| 无码人妻一区二区三区av| 久久一区二区免费播放| 91国偷自产一区二区三区| 精品一区二区三区在线视频观看| 国产亚洲无线码一区二区 | 在线不卡一区二区三区日韩| 本免费AV无码专区一区| 波多野结衣一区二区| 国产福利电影一区二区三区,亚洲国模精品一区 | 久久精品动漫一区二区三区| 亚洲日韩一区二区三区| 国产一区二区三区在线影院| 国产高清在线精品一区| 激情内射亚州一区二区三区爱妻| 中文字幕AV一区二区三区| 国产视频一区二区在线播放| 国产乱码精品一区二区三区四川| 少妇人妻精品一区二区三区| 无码人妻精品一区二区蜜桃AV| 天堂va在线高清一区 | 五月婷婷一区二区| 成人无码AV一区二区|