>> 廣發(fā)證券-電子行業(yè)“AI的iPhone時刻”系列9:NVLink + NVSwitch,實現(xiàn)GPU間高速互聯(lián)-230405
| 上傳日期: |
2023/4/5 |
大?。?/td>
| 2283KB |
| 格式: |
pdf 共19頁 |
來源: |
廣發(fā)證券 |
| 評級: |
-- |
作者: |
王亮,耿正,欒玉民 |
| 行業(yè)名稱: |
電子 |
| 下載權(quán)限: |
此報告為加密報告 |
|
|
NVLink:實現(xiàn)GPU間高速直聯(lián)。NVLink是一種GPU之間的直接互聯(lián),可擴展服務(wù)器內(nèi)的多GPU輸入/輸出。2016年,第一代NVLink搭載基于Pascal架構(gòu)的Nvidia GP100 GPU發(fā)布,其傳輸速率可達(dá)160GB/s;目前NVLink已迭代至第四代,第四代NVIDIANVLink總帶寬為900GB/s,是PCIe 5.0帶寬的7倍。一代NVLink共有4個鏈路,單鏈路傳輸速率40GB/s;第二代、第三代、第四代NVLink分別有6、12、18個鏈路,單鏈路傳輸速率均為50GB/s。NVLink不僅可實現(xiàn)NVIDIAGPU間互聯(lián),也可以實現(xiàn)GPU與CPU之間的互聯(lián)(CPU需要支持NVLink協(xié)議,如IBMPOWER9)。第一至第三代NVLink傳輸信號為NRZ調(diào)制的電信號,第四代NVLink傳輸信號為PAM4調(diào)制電信號;在信號傳輸過程,由NVLink控制器+PHY構(gòu)成的組合實現(xiàn)信號的收發(fā)控制,其中NVLink控制器按照功能又可分為三層:Physical Layer(PL)、Data Link Layer(DL)、TransactionLayer(TL)。 NVSwitch:實現(xiàn)服務(wù)器內(nèi)更高帶寬、更低延遲、更多GPU間通信。NVIDIA在2018 GTC大會發(fā)布了首款節(jié)點交換架構(gòu)——第一代NVSwitch,其上有18個NVLink端口,在單服務(wù)器節(jié)點內(nèi)通過12個NVSwitch可以實現(xiàn)16個V100以NVLink能夠達(dá)到的最高速度進(jìn)行多對多GPU通信;基于NVLink +NVSwitch實現(xiàn)服務(wù)器節(jié)點內(nèi)16顆V100互聯(lián)的一臺DGX-2與兩臺通過IB互聯(lián)的DGX-1(每臺內(nèi)有8個V100)相比,前者AI運算速度是后者的兩倍以上。目前NVSwitch已經(jīng)迭代到第三代,單芯片上共有64個第四代NVLink端口,支持GPU間900GB/s的通信速度,這些通過NVLink Switch互聯(lián)的GPU可用作單個高性能加速器,擁有高達(dá)15petaFLOPS的深度學(xué)習(xí)計算性能。 服務(wù)器之間的NVLink與NVSwitch:實現(xiàn)服務(wù)器節(jié)點間通信拓展?;诘谌鶱VSwitch,通過在服務(wù)器外部添加第二層NVSwitch,NVLink網(wǎng)絡(luò)可以連接多達(dá)32個服務(wù)器、256個GPU,并提供57.6TB/s的多對多帶寬,實現(xiàn)GPU在服務(wù)器節(jié)點間通信擴展,形成數(shù)據(jù)中心大小的GPU。基于第三代NVSwitch實現(xiàn)節(jié)點間互聯(lián)的DGXH100256 SuperPOD與前代通過IB網(wǎng)絡(luò)實現(xiàn)節(jié)點間互聯(lián)的DGXA100256 SuperPOD相比,前者對分帶寬(Bisection Bandwidth)、全規(guī)約吞吐量(AllReduce Throughput)分別是后者的9倍、4.5倍。 投資建議。AIGC推動AI服務(wù)器需求增長,建議關(guān)注GPGPU/ASIC/CPU廠商:海光信息(與計算機組聯(lián)合覆蓋)、龍芯中科、芯原股份等;服務(wù)器芯片廠商:瀾起科技、源杰科技、杰華特、裕太微、聚辰股份、帝奧微等;服務(wù)器硬件廠商:工業(yè)富聯(lián)、滬電股份、勝宏科技等;AIGC應(yīng)用:??低暋⒋笕A股份等。 風(fēng)險提示。AIGC發(fā)展不及預(yù)期的風(fēng)險;AI服務(wù)器出貨量不及預(yù)期的風(fēng)險;國產(chǎn)廠商技術(shù)和產(chǎn)品進(jìn)展不及預(yù)期的風(fēng)險。
|
|