>> 國信證券-計算機行業(yè)新型智算中心改造系列報告一：網(wǎng)絡(luò)成大模型訓(xùn)練瓶頸，節(jié)點內(nèi)外多方案并存-240505
| 上傳日期： |
2024/5/5 |
大?。?/td>
| 2937KB |
| 格式： |
pdf 共24頁 |
來源： |
國信證券 |
| 評級： |
超配 |
作者： |
熊莉 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
AI大模型訓(xùn)練和推理拉動智能算力需求快速增長。a）模型迭代和數(shù)量增長拉動AI算力需求增長：從單個模型來看，模型能力持續(xù)提升依賴于更大的訓(xùn)練數(shù)據(jù)量和模型參數(shù)量，對應(yīng)更高的算力需求；從模型的數(shù)量來看，模型種類多樣化（文生圖、文生視頻）和各廠商自主模型的研發(fā)，均推動算力需求的增長。b）未來AI應(yīng)用爆發(fā)，推理側(cè)算力需求快速增長：各廠商基于AI大模型開發(fā)各類AI應(yīng)用，隨著AI應(yīng)用用戶數(shù)量爆發(fā)，對應(yīng)推理側(cè)算力需求快速增長。
智算中心從集群走向超級池化。智算中心是以GPU、AI加速卡等智能算力為核心，集約化建設(shè)的新型數(shù)據(jù)中心；隨著大模型普遍進入萬億規(guī)模，算力、顯存、互聯(lián)需求再次升級，高速互聯(lián)的百卡“超級服務(wù)器”可能成為新的設(shè)備形態(tài)，智算中心將走向超級池化階段，對設(shè)備形態(tài)、互聯(lián)方案、存儲、平臺、散熱等維度提出新的要求。
網(wǎng)絡(luò)互聯(lián)：節(jié)點內(nèi)外多方案并存。1）節(jié)點內(nèi)：私有方案以英偉達NVLink為代表，NVLink已經(jīng)發(fā)展至第五代產(chǎn)品，同時支持576個GPU之間的無縫高速通信；開放技術(shù)方案以O(shè)AM和UBB為主，OCP組織定義了業(yè)內(nèi)通用的AI扣卡模組形態(tài)（OAM）-基板拓撲結(jié)構(gòu)（UBB）設(shè)計規(guī)范。2）節(jié)點間：主要方案為Infiniband和RoCEv2；Infiniband網(wǎng)絡(luò)主要包括InfiniBand網(wǎng)卡、InfiniBand交換機、Subnet Management（SM）、連接件組成；RoCEv2網(wǎng)絡(luò)是一個純分布式的網(wǎng)絡(luò)，由支持RoCEv2的網(wǎng)卡和交換機、連接件、流控機制組成。InfiniBand在網(wǎng)絡(luò)性能、集群規(guī)模、運維等方面具備顯著優(yōu)勢。
投資建議：AI大模型的參數(shù)量和訓(xùn)練數(shù)據(jù)量的快速增長，對數(shù)據(jù)中心的計算、存儲、網(wǎng)絡(luò)等提出新的要求，新型智算中心是產(chǎn)業(yè)發(fā)展趨勢；AI大模型需要部署在高速互聯(lián)的多個AI芯片上，數(shù)據(jù)樣本和模型結(jié)構(gòu)被切分到多張卡或者節(jié)點上，卡間或節(jié)點間不僅有訓(xùn)練數(shù)據(jù)通信，還有模型梯度的頻繁傳遞，對智算中心的網(wǎng)絡(luò)互聯(lián)提出新的要求，建議關(guān)注寶信軟件。
風(fēng)險提示：宏觀經(jīng)濟波動、下游需求不及預(yù)期、AI倫理風(fēng)險等。
|
|
