>> 光大證券-半導(dǎo)體行業(yè)跟蹤報(bào)告之十八：卡間互聯(lián)成為AI芯片競(jìng)爭(zhēng)焦點(diǎn)，華豐科技銅互連方案國(guó)內(nèi)領(lǐng)先-240814
| 上傳日期： |
2024/8/14 |
大?。?/td>
| 1177KB |
| 格式： |
pdf 共11頁(yè) |
來(lái)源： |
光大證券 |
| 評(píng)級(jí)： |
買入 |
作者： |
劉凱,孫嘯 |
| 下載權(quán)限： |
此報(bào)告為加密報(bào)告，僅限高級(jí)會(huì)員查看 |
|
|
英偉達(dá)GPU卡間互聯(lián)優(yōu)勢(shì)明顯，發(fā)布NVL72采用銅連接方案
2024年GTC大會(huì)，英偉達(dá)發(fā)布B200系列GPU與NVL72機(jī)柜。英偉達(dá)于美東時(shí)間3月18日舉辦2024 GTC大會(huì)，發(fā)布了多項(xiàng)重要產(chǎn)品。公司CEO黃仁勛介紹了運(yùn)行AI模型的新一代芯片和軟件，并正式推出名為Blackwell的新一代AI圖形處理器（GPU），預(yù)計(jì)將在今年晚些時(shí)候發(fā)貨。
英偉達(dá)每?jī)赡旮乱淮纹銰PU架構(gòu)，實(shí)現(xiàn)性能的飛躍。過(guò)去一年發(fā)布的許多AI模型都是在該公司的Hopper架構(gòu)上訓(xùn)練的，該架構(gòu)被用于H100等芯片，于2022年宣布推出。Blackwell平臺(tái)能夠在萬(wàn)億參數(shù)級(jí)的大型語(yǔ)言模型（LLM）上構(gòu)建和運(yùn)行實(shí)時(shí)生成式AI，而成本和能耗比前身低25倍。
英偉達(dá)稱，Blackwell擁有六項(xiàng)革命性的技術(shù)，可以支持多達(dá)10萬(wàn)億參數(shù)的模型進(jìn)行AI訓(xùn)練和實(shí)時(shí)LLM推理：
1)全球最強(qiáng)大的AI芯片。Blackwell架構(gòu)GPU由2080億個(gè)晶體管組成，采用量身定制的臺(tái)積電4納米工藝制造，兩個(gè)reticle極限GPU裸片將10 TB/秒的芯片到芯片鏈路連接成單個(gè)統(tǒng)一的GPU。
2)第二代Transformer引擎：結(jié)合了Blackwell Tensor Core技術(shù)和TensorRT-LLM和NeMo Megatron框架中的英偉達(dá)先進(jìn)動(dòng)態(tài)范圍管理算法，Blackwell將通過(guò)新的4位浮點(diǎn)AI支持雙倍的計(jì)算和模型大小推理能力。
3)第五代NVLink：為提高數(shù)萬(wàn)億參數(shù)和混合專家AI模型的性能，最新一代英偉達(dá)NVLink為每個(gè)GPU提供了突破性的1.8TB/s雙向吞吐量。
4)RAS引擎：Blackwell支持的GPU包含一個(gè)專用引擎，實(shí)現(xiàn)可靠性、可用性和服務(wù)性。此外，Blackwell架構(gòu)還增加了芯片級(jí)功能，利用基于AI的預(yù)防性維護(hù)進(jìn)行診斷和預(yù)測(cè)可靠性問(wèn)題。這可以最大限度地延長(zhǎng)系統(tǒng)正常運(yùn)行時(shí)間，并提高大部署規(guī)模AI的彈性，使其能連續(xù)運(yùn)行數(shù)周甚至數(shù)月，并降低運(yùn)營(yíng)成本。
5)安全人工智能：先進(jìn)的機(jī)密計(jì)算功能可在不影響性能的情況下保護(hù)AI模型和客戶數(shù)據(jù)，并支持新的本機(jī)接口加密協(xié)議，這對(duì)于醫(yī)療保健和金融服務(wù)等隱私敏感行業(yè)至關(guān)重要。
6)解壓縮引擎：專用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫(kù)查詢，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。未來(lái)幾年，在企業(yè)每年花費(fèi)數(shù)百億美元的數(shù)據(jù)處理方面，將越來(lái)越多地由GPU加速。
此外，英偉達(dá)發(fā)布了GB200 NVL72，把18個(gè)Blackwell計(jì)算節(jié)點(diǎn)（ComputeTray）組合在一起，形成新一代計(jì)算單元。
GB200 NVL72中一共包含了9個(gè)NVLink交換節(jié)點(diǎn)（Switch Tray），每個(gè)交換節(jié)點(diǎn)中配置了2顆NVLink Switch芯片，向外提供14.4TB/s的聚合帶寬。
如果要訓(xùn)練一個(gè)1.8萬(wàn)億參數(shù)量的GPT模型，需要8000張Hopper GPU，消耗15兆瓦的電力，連續(xù)跑上90天。但如果使用Blackwell GPU，只需要2000張，同樣跑90天只要消耗四分之一的電力。除了訓(xùn)練之外，生成Token的成本也會(huì)隨之降低。GB200 NVL72訓(xùn)練和推理性能相比于等同數(shù)量的H100 GPU表現(xiàn)提升4倍和30倍。
從NVLINK 1.0到NVLINK 5.0，英偉達(dá)GPU卡間互聯(lián)快速演進(jìn)。作為英偉達(dá)的核心技術(shù)，NVLink在GPU網(wǎng)絡(luò)通信系統(tǒng)中占據(jù)重要地位，其對(duì)于提升數(shù)據(jù)傳輸效率和處理性能具有顯著作用。
NVLink技術(shù)實(shí)現(xiàn)了GPU與支持該技術(shù)的CPU之間以及多個(gè)GPU之間的高帶寬直接連接，從而大幅提升了整體性能。然而值得注意的是，NVLink技術(shù)并未向行業(yè)開(kāi)放，這在一定程度上影響了其他廠商在相關(guān)領(lǐng)域的競(jìng)爭(zhēng)力。
英偉達(dá)不僅擁有出色的GPU和軟件，還在跨多個(gè)GPU和系統(tǒng)橫向擴(kuò)展工作負(fù)載方面擁有豐富的技術(shù)積累。這些技術(shù)包括芯片上和封裝上互連、用于服務(wù)器或pod中GPU到GPU通信的NVLink、用于超pod擴(kuò)展的Infiniband以及連接到更龐大基礎(chǔ)設(shè)施的以太網(wǎng)等。NVLink技術(shù)使得CPU與GPU之間能夠?qū)崿F(xiàn)快速數(shù)據(jù)交換，從而提升了整個(gè)計(jì)算系統(tǒng)的數(shù)據(jù)吞吐量，有效克服了加速計(jì)算領(lǐng)域的一大瓶頸。
隨著英偉達(dá)GPU芯片的更新迭代，NVLink技術(shù)也在不斷進(jìn)化。從2017年的NVLink 2.0到2020年的NVLink 3.0，再到2022年的NVLink 4.0，每一次更新都帶來(lái)了更高的性能和更廣泛的應(yīng)用場(chǎng)景。
在2024年的GTC大會(huì)上，英偉達(dá)推出了全新的NVLink 5.0技術(shù)，并與最新一代Blackwell芯片一同亮相。這一技術(shù)極大地提升了大型多GPU系統(tǒng)的可擴(kuò)展性，單個(gè)Blackwell Tensor Core GPU支持多達(dá)18個(gè)NVLink 100GB/s連接，總帶寬達(dá)到1.8TB/s，較上一代產(chǎn)品提升了兩倍之多。此外，NVLink 5.0技術(shù)還支持跨節(jié)點(diǎn)擴(kuò)展，通過(guò)NVLink Switch以及銅纜互聯(lián)實(shí)現(xiàn)無(wú)縫、高帶寬、多節(jié)點(diǎn)GPU集群的構(gòu)建，從而滿足數(shù)據(jù)中心級(jí)別的大型GPU需求。
利用NVLink技術(shù)，多服務(wù)器集群能夠平衡GPU通信與增加的計(jì)算量，從而實(shí)現(xiàn)了更高的性能和效率。例如，在GB200 NVL72等服務(wù)器平臺(tái)上，NVLink技術(shù)的應(yīng)用使得這些平臺(tái)能夠支持更為復(fù)雜的大型模型，并提供了更高的可擴(kuò)展性。這些優(yōu)勢(shì)使得英偉達(dá)在GPU網(wǎng)絡(luò)通信領(lǐng)域繼續(xù)保持領(lǐng)先地位，并為其在AI、數(shù)據(jù)中心等領(lǐng)域的廣泛應(yīng)用
|
|
