>> 廣發(fā)證券-半導(dǎo)體行業(yè)專題研究-“AI的iPhone時(shí)刻”系列8：如何初步理解GPU算力？-230403
| 上傳日期： |
2023/4/3 |
大小： |
2126KB |
| 格式： |
pdf 共18頁 |
來源： |
廣發(fā)證券 |
| 評(píng)級(jí)： |
-- |
作者： |
王亮,耿正,欒玉民 |
| 下載權(quán)限： |
此報(bào)告為加密報(bào)告，僅限高級(jí)會(huì)員查看 |
|
|
結(jié)論。GPU峰值算力反映GPU的主頻和相應(yīng)核心的硬件配置，如FP32的核心的個(gè)數(shù)，F(xiàn)P64的核心的個(gè)數(shù)以及Tensor core的計(jì)算能力等峰值參數(shù)，并非其實(shí)際計(jì)算性能。GPU峰值算力參數(shù)可用來初步區(qū)分其適用的應(yīng)用場(chǎng)景，如在某GPU內(nèi)，其FP64算力顯著高于FP32等算力，其可能更適用于科學(xué)計(jì)算等場(chǎng)景，如FP32、TF32、FP16、INT8等算力較為均衡，其可能更適用于AI訓(xùn)練和推理環(huán)節(jié)。
首先我們引入數(shù)據(jù)類型。計(jì)算機(jī)運(yùn)行必須考慮計(jì)算資源的分配，不同場(chǎng)景下使用不同的數(shù)據(jù)類型是必要的，數(shù)據(jù)類型即標(biāo)定數(shù)據(jù)的正負(fù)、數(shù)據(jù)的范圍大小、數(shù)據(jù)的精度大小。AI芯片的主要應(yīng)用場(chǎng)景包括訓(xùn)練、推理與高性能計(jì)算，根據(jù)英偉達(dá)官網(wǎng)的表述，AI訓(xùn)練為縮短訓(xùn)練時(shí)間，主要使用FP8、TF32和FP16；AI推理為在低延遲下實(shí)現(xiàn)高吞吐量，主要使用TF32、BF16、FP16、FP8和INT8；HPC（高性能計(jì)算）為實(shí)現(xiàn)在所需的高準(zhǔn)確性下進(jìn)行科學(xué)計(jì)算的功能，主要使用FP64。
GPU算力參數(shù)從哪里來。NVIDIAGA100 GPU由多個(gè)GPU處理群集(GPC)，紋理處理群集(TPC)，流式多處理器(SM)和HBM2顯存控制器等組成。A100中總共有108個(gè)SM，每個(gè)SM有64個(gè)FP32 CUDA核，64個(gè)INT32 CUDA核，32個(gè)FP64 CUDA核，以及4個(gè)第三代Tensor Core，其中Tensor Core專注于矩陣運(yùn)算，在模型訓(xùn)練與推理的過程中，Tensor Core將是主要的計(jì)算內(nèi)核。GPU峰值算力的測(cè)算公式為：峰值計(jì)算能力= GPUCore的運(yùn)行頻率*GPUSM數(shù)量*單個(gè)SM對(duì)應(yīng)的特定數(shù)據(jù)類型的指令吞吐量*2。根據(jù)該公式，可以得到A100 FP16（Tensor Core加速）峰值算力為312TFLOPS，F(xiàn)P32（Cuda Core）峰值算力=19.5TFLOPS，與英偉達(dá)官方披露的性能參數(shù)一致。由此可見，GPU峰值算力與主頻和硬件配置數(shù)量等參數(shù)相關(guān)。
模型訓(xùn)練&推理算力需求測(cè)算。根據(jù)我們的測(cè)算：在訓(xùn)練側(cè)，訓(xùn)練一個(gè)GPT-3.5175B模型的NVIDIAA100需求為1080個(gè)、AI服務(wù)器需求為135臺(tái)；訓(xùn)練一個(gè)萬億參數(shù)量AI大模型對(duì)A100、AI服務(wù)器的需求分別為8521個(gè)、1065臺(tái)。在推理側(cè)，一個(gè)谷歌級(jí)應(yīng)用使用GPT-3.5175B進(jìn)行推理，對(duì)NVIDIAA100需求為72萬個(gè)、對(duì)AI服務(wù)器需求為9萬臺(tái)；一個(gè)谷歌級(jí)應(yīng)用使用萬億參數(shù)大模型進(jìn)行推理，對(duì)NVIDIAA100需求為378萬個(gè)、對(duì)AI服務(wù)器需求為47.3萬臺(tái)。據(jù)Trendforce數(shù)據(jù)，預(yù)估2022年搭載GPGPU的AI服務(wù)器年出貨量占整體服務(wù)器比重近1%，即約14萬臺(tái)。我們以14萬臺(tái)為基數(shù)測(cè)算訓(xùn)練、推理側(cè)算力需求對(duì)AI服務(wù)器出貨量的拉動(dòng)。根據(jù)測(cè)算，訓(xùn)練100個(gè)GPT-3.5175B模型對(duì)AI服務(wù)器出貨量的拉動(dòng)為9.6%，10個(gè)使用GPT3.5175B模型的谷歌級(jí)推理應(yīng)用對(duì)全球AI服務(wù)器出貨量的拉動(dòng)為643%。
投資建議。建議關(guān)注算力芯片廠商：海光信息（與計(jì)算機(jī)組聯(lián)合覆蓋）、寒武紀(jì)（計(jì)算機(jī)組覆蓋）、芯原股份、龍芯中科等；連接芯片廠商：源杰科技、瀾起科技、裕太微、聚辰股份、帝奧微等；存儲(chǔ)芯片廠商：深科技、兆易創(chuàng)新、東芯股份等；服務(wù)器硬件廠商：工業(yè)富聯(lián)、滬電股份、勝宏科技等。AIGC應(yīng)用：?？低?、大華股份等。
風(fēng)險(xiǎn)提示：AIGC發(fā)展不及預(yù)期，AI服務(wù)器出貨量不及預(yù)期，國產(chǎn)廠商技術(shù)和產(chǎn)品進(jìn)展不及預(yù)期。
|
|
