>> 華安證券-戰(zhàn)略科技(計(jì)算機(jī))行業(yè)周報(bào)：詳解大模型訓(xùn)練與推理對(duì)算力產(chǎn)業(yè)鏈的需求影響-230326
| 上傳日期： |
2023/3/26 |
大?。?/td>
| 1034KB |
| 格式： |
pdf 共20頁(yè) |
來(lái)源： |
華安證券 |
| 評(píng)級(jí)： |
增持 |
作者： |
尹沿技,王奇玨 |
| 行業(yè)名稱： |
計(jì)算機(jī) |
| 下載權(quán)限： |
無(wú)限制-登錄即可下載 |
|
|
類chatGPT大模型帶來(lái)的算力增長(zhǎng)，毋庸置疑。但算力的需求，不止局限于模型的投資初期。隨著GPTAPI的開(kāi)放、下游應(yīng)用多模態(tài)的成熟，對(duì)于的大模型的推理算力需求進(jìn)一步提升。也即，在模型不斷更迭訓(xùn)練中，算力需求提升；在模型應(yīng)用推理中，算力需求進(jìn)一步提升。由此，整個(gè)算力需求一如互聯(lián)網(wǎng)時(shí)期的流量需求，持續(xù)爆發(fā)。
整個(gè)大模型的算力需求包括訓(xùn)練端與推理端。本文計(jì)算的不是金額，而是潛在的對(duì)于以英偉達(dá)GPU為代表的芯片需求。由此對(duì)應(yīng)，產(chǎn)業(yè)鏈需求。
訓(xùn)練端算力需求，與模型參數(shù)、訓(xùn)練數(shù)據(jù)集規(guī)模正相關(guān)
在訓(xùn)練端，算力的需求= 2 × # of connections × 3 × # of trainingexamples × # of epochs。（資料來(lái)源：Estimating Training Computeof Deep Learning Models (epochai.org)）
其中：
# of connections，是指神經(jīng)網(wǎng)絡(luò)中，相互依賴的神經(jīng)元數(shù)量。舉例在一個(gè)完全鏈接的神經(jīng)網(wǎng)絡(luò)中，N層輸入與M層輸出，則# ofconnections=N*M。通常parameters可以近似于# of connections。
# of training examples，數(shù)據(jù)集數(shù)量；
# of epoch，是指訓(xùn)練數(shù)據(jù)集上的完全通過(guò)次數(shù)。
另一端，算力的供給= training time × # of GPUs/TPUs × peakFLOP/s × utilization rate。
Training time計(jì)算時(shí)間；
Utilization rate使用效率。
在這個(gè)公式中，通常使用英偉達(dá)A100 FP32的數(shù)據(jù)，也即19.5TFLOPS。Utiliazation rate通常使用效率，對(duì)于大模型而言，是0.3；對(duì)于其他模型為0.4。在極端理論數(shù)據(jù)下，utilization rate=1。
我們?cè)趫?bào)導(dǎo)中看到的數(shù)據(jù)，GPT3若使用V100需要訓(xùn)練355gpu年，就是建立在理論數(shù)據(jù)下，以V100理論算力28 TFLOPS計(jì)算的（直接將FP 32的理論算力14TFLOPS乘以2，以得到FP16的理論算力）。若使用RTX8000，假設(shè)15TFLOPS，將花費(fèi)665GPU年（資料來(lái)源：OpenAI's GPT-3 Language Model: ATechnicalOverview (lambdalabs.com)）。由此計(jì)算的GPT3的訓(xùn)練算力，整體達(dá)到3.14E23 FLOPS。
若仍然以V100就算，若要將訓(xùn)練一次的周期降低至1周內(nèi)，則需要2萬(wàn)片V100GPU。
由此公式可以看到，促進(jìn)訓(xùn)練端算力需求增長(zhǎng)的因素包括：
1）參數(shù)規(guī)模。也即隨著GPT 3向更多參數(shù)的GPT4、5等發(fā)展；
2）訓(xùn)練集規(guī)模。
3）投入大模型的企業(yè)增長(zhǎng)。國(guó)內(nèi)包括華為、百度、阿里巴巴、騰訊、字節(jié)等互聯(lián)網(wǎng)巨頭以及更多加入大模型研發(fā)的企業(yè)。
未來(lái)的訓(xùn)練端算力需求，是上述三大因素的乘積。
推理端算力需求，與模型參數(shù)數(shù)量、平均序列長(zhǎng)度、并發(fā)需求量正相關(guān)
而推理部分算力需求，根據(jù)GPT 3的回復(fù)：
推理算力=模型大小*推演批次大小*平均序列長(zhǎng)度*推演速度。
?。ㄗⅲ豪碚摂?shù)值，其中并發(fā)請(qǐng)求數(shù)量、模型架構(gòu)、輸入數(shù)據(jù)等，均可能為影響因素）其中，平均序列長(zhǎng)度，隨著GPT從簡(jiǎn)單文字交流，向多模態(tài)發(fā)展，對(duì)于推理算力需求大幅提升。（資料來(lái)源：來(lái)自GPT3回復(fù)）
于其對(duì)于響應(yīng)速度，相比訓(xùn)練而言，要求高得多（通常用戶能接受的響應(yīng)時(shí)間，在幾秒之內(nèi)），因此所需要的并發(fā)GPU算力相應(yīng)提升。
進(jìn)一步，多模態(tài)之下，圖片、視頻生成需求的提升，在公式中將會(huì)增加平均序列長(zhǎng)度。同時(shí)隨著并發(fā)需求的增長(zhǎng)，整個(gè)推理算力需求大幅提升。
邏輯推演之下，chatgpt應(yīng)用進(jìn)一步豐富，在推理端的算力需求持續(xù)提升，或?qū)⑦h(yuǎn)遠(yuǎn)超過(guò)訓(xùn)練階段的算力需求。
由此來(lái)看，整個(gè)算力產(chǎn)業(yè)鏈將是chatgpt投資邏輯最順的產(chǎn)業(yè)鏈條。
建議關(guān)注AI芯片（包括GPU、TPU、FPGA）相關(guān)標(biāo)的：海光信息、寒武紀(jì)、景嘉微。
對(duì)應(yīng)而言，單臺(tái)服務(wù)器可插多張顯卡，同時(shí)數(shù)據(jù)量的增長(zhǎng)，對(duì)于數(shù)據(jù)存儲(chǔ)也帶來(lái)巨大尋求，服務(wù)器、存儲(chǔ)因此受益。建議關(guān)注相關(guān)標(biāo)的：浪潮信息、中科曙光、紫光股份、工業(yè)富聯(lián)、聯(lián)想集團(tuán)、神州數(shù)碼。
進(jìn)一步，以A100功耗達(dá)到400w；單服務(wù)器插入8張A100計(jì)算。單服務(wù)器功耗達(dá)到3200w。由此對(duì)散熱產(chǎn)生巨大需求。風(fēng)冷、液冷技術(shù)，有助于幫助解決散熱問(wèn)題，建議關(guān)注：英維克（計(jì)算機(jī)、機(jī)械聯(lián)合覆蓋）、依米康、佳力圖、網(wǎng)宿科技。
風(fēng)險(xiǎn)提示
1）疫情反復(fù)降低企業(yè)信息化支出；
2）財(cái)政與貨幣政策低于預(yù)期；
3）供應(yīng)鏈波動(dòng)加大，影響科技產(chǎn)業(yè)發(fā)展。
|
|
