久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

一、InfiniBand與以太網(wǎng)是AI大模型訓練集群的主要互聯(lián)技術
　　AI模型參數(shù)規(guī)模不斷擴大，對大模型訓練網(wǎng)絡提出更高要求。隨著以GPT3.0為代表的大模型展現(xiàn)出令人驚艷的能力后，智算業(yè)務往海量參數(shù)的大模型方向發(fā)展已經(jīng)成為一個主流技術演進路徑。以自然語言處理（NLP）為例，模型參數(shù)已經(jīng)達到了千億級別。計算機視覺（CV）、廣告推薦、智能風控等領域的模型參數(shù)規(guī)模也在不斷的擴大，正在往百億和千億規(guī)模參數(shù)的方向發(fā)展。
　　大模型訓練中大規(guī)模的參數(shù)對算力和顯存提出了更高的要求，千億參數(shù)模型需要2TB顯存，當前的單卡顯存容量不夠。即便出現(xiàn)了大容量的顯存，如果用單卡訓練的話也需要32年。為了縮短訓練時間，通常采用分布式訓練技術，對模型和數(shù)據(jù)進行切分，采用多機多卡的方式將訓練時長縮短到周或天的級別。
　　分布式訓練就是通過多臺節(jié)點構建出一個計算能力和顯存能力超大的集群，來應對大模型訓練中算力墻和存儲墻這兩個主要挑戰(zhàn)。而聯(lián)接這個超級集群的高性能網(wǎng)絡直接決定了智算節(jié)點間的通信效率，進而影響整個智算集群的吞吐量和性能。要讓整個智算集群獲得高的吞吐量，高性能網(wǎng)絡需要具備低時延、大帶寬、長期穩(wěn)定性、大規(guī)模擴展性和可運維幾個關鍵能力。
　　InfiniBand和以太網(wǎng)RoCEv2是當前智算網(wǎng)絡互聯(lián)主要方案。要滿足智算網(wǎng)絡的低時延、大帶寬、穩(wěn)定運行、大規(guī)模以及可運維的需求，目前業(yè)界比較常用的網(wǎng)絡方案是InfiniBand方案和RoCEv2方案。
　　1）Infiniband
　　InfiniBand網(wǎng)絡的關鍵組成包括Subnet Manager（SM）、InfiniBand網(wǎng)卡、InfiniBand交換機和InfiniBand連接線纜。
　　支持InfiniBand網(wǎng)卡的廠家以NVIDIA為主。InfiniBand網(wǎng)卡在速率方面保持著快速的發(fā)展。200Gbps的HDR已經(jīng)實現(xiàn)了規(guī)?；纳逃貌渴?，400Gbps的NDR的網(wǎng)卡也已經(jīng)開始商用部署。交換機方面，NVIDIA在2021年推出了400Gbps的Quantum-2系列交換機（64*400G）。交換機上有32個800GOSFP口，需要通過線纜轉接出64個400GQSFP。InfiniBand交換機上不運行任何路由協(xié)議。整個網(wǎng)絡的轉發(fā)表是由集中式的子網(wǎng)管理器（SubnetManager，簡稱SM）進行計算并統(tǒng)一下發(fā)的。除了轉發(fā)表以外，SM還負責管理InfiniBand子網(wǎng)的Partition、QoS等配置。
　　2）RoCEv2網(wǎng)絡
　　RoCEv2網(wǎng)絡則是一個純分布式的網(wǎng)絡，由支持RoCEv2的網(wǎng)卡和交換機組成，一般情況下是兩層架構。支持RoCE網(wǎng)卡的廠家比較多，主流廠商為NVIDIA、Intel、Broadcom。數(shù)據(jù)中心服務器網(wǎng)卡主要以PCIe卡為主。RDMA網(wǎng)卡的端口PHY速率一般是50Gbps起，當前商用的網(wǎng)卡單端口速率已達400Gbps。支持RoCE的交換機廠商中，市場占有率排名靠前的包括新華三、華為等。支持RoCE的網(wǎng)卡當前市場占有率比較高的是NVIDIA的ConnectX系列的網(wǎng)卡。
　　當前大部分數(shù)據(jù)中心交換機都支持RDMA流控技術，和RoCE網(wǎng)卡配合，實現(xiàn)端到端的RDMA通信。國內的主流數(shù)據(jù)中心交換機廠商包括華為、新華三等。高性能交換機的核心是轉發(fā)芯片。當前市場上的商用轉發(fā)芯片用的比較多的是博通的Tomahawk系列芯片。其中Tomahawk3系列的芯片在當前交換機上使用的比較多，市場上支持Tomahawk4系列的芯片的交換機也逐漸增多。
　　博通、Marvell主導全球商用交換芯片市場。根據(jù)以太網(wǎng)交換芯片設計企業(yè)是否從事品牌交換機的研發(fā)、生產(chǎn)與銷售，可以簡單將以太網(wǎng)交換芯片設計企業(yè)分為自用廠商與商用廠商，前者主要從事以太網(wǎng)交換機產(chǎn)品的生產(chǎn)銷售，其自研芯片用于自產(chǎn)的以太網(wǎng)交換機產(chǎn)品，主要廠商包括思科、華為等；而后者的商用交換芯片通常用于銷售予其他以太網(wǎng)交換機整機廠商，主要廠商包括博通、美滿（Marvell）、瑞昱、英偉達、英特爾、盛科通信等。
　　以太網(wǎng)交換芯片領域集中度較高，少量參與者掌握了大部分市場份額。博通的以太網(wǎng)交換芯片產(chǎn)品在超大規(guī)模的云數(shù)據(jù)中心、HPC集群與企業(yè)網(wǎng)絡市場占據(jù)較高份額，為以太網(wǎng)交換芯片全球龍頭。由于以太網(wǎng)交換芯片行業(yè)具備較高的技術壁壘、客戶及應用壁壘和資金壁壘，因此當前行業(yè)整體國產(chǎn)程度較低，國內參與廠商較少。
　　根據(jù)灼識咨詢數(shù)據(jù)，2020年中國商用以太網(wǎng)交換芯片市場以銷售額口徑統(tǒng)計，博通、美滿和瑞昱分別以61.7%、20.0%和16.1%的市占率排名前三位，合計占據(jù)了97.8%的市場份額。此外，盛科通信的銷售額排名第四，占據(jù)1.6%的市場份額，在中國商用以太網(wǎng)交換芯片市場的境內廠商中排名第一；中國商用萬兆及以上以太網(wǎng)交換芯片市場方面，盛科通信的銷售額排名第四，占據(jù)2.3%的市場份額，在中國商用以太網(wǎng)交換芯片市場的境內廠商中排名第一。
　　風險提示
　　行業(yè)技術路線變化風險
　　以太網(wǎng)與Infiniband以及卡間互聯(lián)標準尚未固定，技術路線未來可能發(fā)生變化。
　　競爭加劇風險
　　國內交換機廠商自研交換機芯片，可能加劇行業(yè)競爭。
　　產(chǎn)品研發(fā)進度不及預期風險
　　交換機芯片研發(fā)難度較大，可能研發(fā)進展不及預期。