>> 國投證券-計算機行業(yè)周報：DeepSeek-V3模型發(fā)布，AI軍備競賽持續(xù)-241230
| 上傳日期： |
2024/12/30 |
大小： |
813KB |
| 格式： |
pdf 共7頁 |
來源： |
國投證券 |
| 評級： |
領(lǐng)先大市 |
作者： |
趙陽,夏瀛韜 |
| 行業(yè)名稱： |
計算機 |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
DeepSeek-V3模型發(fā)布，極致性價比打破算力制約
2024年12月26日，幻方量化旗下的公司深度求索（DeepSeek）發(fā)布DeepSeek-V3版本大模型。根據(jù)官方的技術(shù)報告披露，DeepSeek-V3模型采用MoE架構(gòu)，參數(shù)量達到671B，具備極致的性價比：
1）經(jīng)濟效益凸顯，打破算力制約：根據(jù)技術(shù)報告披露，DeepSeek-V3在預訓練階段，在每萬億tokens上訓練僅需18萬H800 GPU hour，即擁有2048個H800 GPU的集群上僅需3.7天。因此，預訓練階段在不到兩個月的時間內(nèi)完成，耗時266.4萬GPU hour。結(jié)合11.9萬GPU hour的上下文長度擴展和5000 GPU hour的后訓練，DeepSeek-V3的完整訓練僅需278.8萬GPU hour。技術(shù)文檔假設H800 GPU的租用價格為每GPU hour 2美元，該模型的總訓練成本僅為557.6萬美元。這一訓練成本大大低于其他的海外模型如Llama-3.1、GPT-4o、Claude-3.5等，具有非常強的經(jīng)濟性。
2）極致性價比，成本下降同時能力提升：根據(jù)技術(shù)報告披露，DeepSeek-V3率先采用了無輔助損失的負載均衡策略，最大限度地減少了因鼓勵負載均衡而導致的性能下降。在預訓練階段，模型設計了一個FP8混合精度訓練框架，通過算法、框架和硬件的協(xié)同設計，克服了跨節(jié)點MoE訓練中的通信瓶頸，實現(xiàn)了近乎完全的計算通信重疊。這顯著提高了訓練效率并降低了訓練成本。在后訓練階段，將推理能力從DeepSeek R1系列中的模型提取到DeepSeek-V3中。DeepSeek-V3的多項評測成績超越Qwen2.5-72B和Llama-3.1-405B等其他開源模型，并在性能上和頭部的閉源模型GPT-4o以及Claude-3.5-Sonne。
利好國產(chǎn)算力和國內(nèi)AI應用。我們認為DeepSeek-V3的發(fā)布，表明在有限算力的情況下，可以實現(xiàn)較好的模型能力，利好國產(chǎn)算力需求的提升，以及加速國內(nèi)AI應用的發(fā)展，關(guān)注國產(chǎn)算力：寒武紀、海光信息、中科曙光、神州數(shù)碼、浪潮信息等；國內(nèi)AI應用：鼎捷數(shù)智、漢得信息、金山辦公、科大訊飛、邁富時、佳發(fā)教育、萬興科技、美圖公司等。
小米加大AI模型投入，軍備競賽持續(xù)
2024年12月26日，根據(jù)財聯(lián)社報告，小米正在著手搭建自己的GPU萬卡集群，將對AI大模型大力投入。我們認為小米入局表明AI軍備競賽持續(xù)，一方面利好算力投入，另一方面AI手機、智能駕駛、AI可穿戴設備等端側(cè)AI或?qū)⒊蔀樾∶字攸c布局的領(lǐng)域，建議關(guān)注相應投資機會。
風險提示：1）宏觀經(jīng)濟變化影響企業(yè)信息化支出；2）財政與貨幣政策低于預期；3）供應鏈波動加大，影響科技產(chǎn)業(yè)發(fā)展。
|
|
