久久精品亚洲成a人|亚洲精品中文字幕乱码|男人添女人全身免费视频|久久免费精品国自产拍网站|桃色午夜日韩在线三区精品|91精品国产高清自在线看|亚洲午夜精品无码专区在线观|97超级碰碰碰久久久久app

您的位置:首頁>智東西 >

英偉達(dá)H100霸榜權(quán)威AI性能測試 11分鐘搞定基于GPT-3的大模型訓(xùn)練|全球資訊

來源:科創(chuàng)板日報(bào)  


(資料圖片僅供參考)

財(cái)聯(lián)社6月28日訊(編輯 史正丞)當(dāng)?shù)貢r間周二,機(jī)器學(xué)習(xí)及人工智能領(lǐng)域開放產(chǎn)業(yè)聯(lián)盟MLCommons披露兩項(xiàng)MLPerf基準(zhǔn)評測的最新數(shù)據(jù),其中英偉達(dá)H100芯片組在人工智能算力表現(xiàn)的測試中,刷新了所有組別的紀(jì)錄,也是唯一一個能夠跑完所有測試的硬件平臺。

(來源:英偉達(dá)、MLCommons)

MLPerf是由學(xué)術(shù)界、實(shí)驗(yàn)室和產(chǎn)業(yè)組成的人工智能領(lǐng)袖聯(lián)盟,是目前國際公認(rèn)的權(quán)威AI性能評測基準(zhǔn)。Training v3.0包含8種不同的負(fù)載,包括視覺(影像分類、生物醫(yī)學(xué)影像分割、兩種負(fù)載的物體偵測)、語言(語音識別、大語言模型、自然語言處理)和推薦系統(tǒng)。簡單來說,就是由不同的設(shè)備供應(yīng)商提交完成基準(zhǔn)任務(wù)所需要的時間。

(Training v3.0訓(xùn)練基準(zhǔn),來源:MLCommons)

在投資者比較關(guān)注的“大語言模型”訓(xùn)練測試中,英偉達(dá)和GPU云算力平臺CoreWeave提交的數(shù)據(jù)為這項(xiàng)測試設(shè)定了殘酷的業(yè)界標(biāo)準(zhǔn)。在896個英特爾至強(qiáng)8462Y+處理器和3584個英偉達(dá)H100芯片的齊心協(xié)力下,僅僅花了10.94分鐘就完成了基于GPT-3的大語言模型訓(xùn)練任務(wù)。

除了英偉達(dá)外,只有英特爾的產(chǎn)品組合在這個項(xiàng)目上獲得評測數(shù)據(jù)。由96個至強(qiáng)8380處理器和96個Habana Gaudi2 AI芯片構(gòu)建的系統(tǒng)中,完成同樣測試的時間為311.94分鐘。橫向?qū)Ρ?,使?68個H100芯片的平臺跑完這個測試也只需要45.6分鐘。

(芯片越多數(shù)據(jù)越好看,來源:英偉達(dá))

對于這個結(jié)果,英特爾也表示仍有上升空間。理論上只要堆更多的芯片,運(yùn)算的結(jié)果自然會更快。英特爾AI產(chǎn)品高級主管Jordan Plawner對媒體表示,接下來Habana的運(yùn)算結(jié)果將會呈現(xiàn)1.5倍-2倍的提升。Plawner拒絕透露Habana Gaudi2的具體售價(jià),僅表示業(yè)界需要第二家廠商提供AI訓(xùn)練芯片,而MLPerf的數(shù)據(jù)顯示英特爾有能力填補(bǔ)這個需求。

而在中國投資者更熟悉的BERT-Large模型訓(xùn)練中,英偉達(dá)和CoreWeave將數(shù)據(jù)刷到了極端的0.13分鐘,在64卡的情況下,測試數(shù)據(jù)也達(dá)到了0.89分鐘。BERT模型中的Transformer結(jié)構(gòu)正是目前主流大模型的基礎(chǔ)架構(gòu)。

關(guān)鍵詞:

最新文章
武山县| 墨竹工卡县| 庆城县| 留坝县| 蛟河市| 湖南省| 徐汇区| 泽州县| 昌邑市| 烟台市| 怀集县| 铅山县| 嘉黎县| 宁城县| 扶沟县| 华阴市| 许昌县| 新建县| 海伦市| 呼玛县| 广州市| 晴隆县| 化州市| 德庆县| 涟源市| 襄城县| 中牟县| 鄱阳县| 明光市| 刚察县| 开阳县| 子长县| 平阳县| 登封市| 兰州市| 太和县| 凤山县| 高密市| 日喀则市| 石河子市| 福建省|