>> 廣發(fā)證券-計算機(jī)行業(yè)：比較試用DeepSeek看模型走向應(yīng)用的新跡象-241229
| 上傳日期： |
2024/12/29 |
大小： |
4551KB |
| 格式： |
pdf 共37頁 |
來源： |
廣發(fā)證券 |
| 評級： |
增持 |
作者： |
劉雪峰,周源 |
| 行業(yè)名稱： |
計算機(jī) |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
核心觀點(diǎn)：
DeepSeek-V3上線，模型性能提升較快。2024年12月，幻方旗下深度求索公司上線DeepSeek-V3系列模型首個版本，較前代模型DeepSeek-V2.5有顯著提升。為了深入探索該模型的能力，我們采用了覆蓋邏輯、數(shù)學(xué)、代碼、文本等領(lǐng)域的多個問題對模型進(jìn)行測試，將其生成結(jié)果與豆包、Kimi以及通義千問大模型生成的結(jié)果進(jìn)行比較。
通過有限的實(shí)測結(jié)果，我們發(fā)現(xiàn)，DeepSeek總體能力與其他大模型相當(dāng)，但在邏輯推理和代碼生成領(lǐng)域具有自身特點(diǎn)。例如，在密文解碼任務(wù)中，DeepSeek是唯一給出正確答案的大模型；而在代碼生成的任務(wù)中，DeepSeek給出的代碼注釋、算法原理解釋以及開發(fā)流程的指引最為全面。在文本生成和數(shù)學(xué)計算能力方面，DeepSeek并未展現(xiàn)出明顯優(yōu)于其他大模型之處。
DeepSeek-V3通過數(shù)據(jù)與算法層面的優(yōu)化，大幅提升算力利用效率，實(shí)現(xiàn)了協(xié)同效應(yīng)。在大規(guī)模MoE模型的訓(xùn)練中，DeepSeek-V3采用了高效的負(fù)載均衡策略、FP8混合精度訓(xùn)練框架以及通信優(yōu)化等一系列優(yōu)化措施，顯著降低了訓(xùn)練成本，以及通過優(yōu)化MoE專家調(diào)度、引入冗余專家策略、以及通過長上下文蒸餾提升推理性能。證明了模型效果不僅依賴于算力投入，即使在硬件資源有限的情況下，依托數(shù)據(jù)與算法層面的優(yōu)化創(chuàng)新，仍然可以高效利用算力，實(shí)現(xiàn)較好的模型效果。
DeepSeek-V3算力成本降低的原因有兩點(diǎn)。第一，DeepSeek-V3采用的DeepSeekMoE是通過參考了各類訓(xùn)練方法后優(yōu)化得到的，避開了行業(yè)內(nèi)AI大模型訓(xùn)練過程中的各類問題。第二，DeepSeek-V3采用的MLA架構(gòu)可以降低推理過程中的kv緩存開銷，其訓(xùn)練方法在特定方向的選擇也使得其算力成本有所降低。
算力依然是推動大模型發(fā)展的核心驅(qū)動力。DeepSeek-V3通過技術(shù)創(chuàng)新和資源優(yōu)化，大幅降低了成本，展現(xiàn)了算力的高效性。在該技術(shù)路線得到充分驗(yàn)證后，有望驅(qū)動相關(guān)AI應(yīng)用的快速發(fā)展，應(yīng)用推理驅(qū)動算力需求增長的因素也有望得到增強(qiáng)。
以大規(guī)模通用模型為基礎(chǔ)，聚焦特定領(lǐng)域突出自身特點(diǎn)的模型應(yīng)用開發(fā)或許是下一階段的商業(yè)化探索方向。DeepSeek-V3為未來大模型技術(shù)的發(fā)展提供了重要啟發(fā)，未來或?qū)囊蕾嚧笠?guī)模通用模型轉(zhuǎn)向發(fā)展一些更具特色、成本更低、更適合具體應(yīng)用場景的模型，隨著這些特色模型的不斷成熟，AI商業(yè)化的邊際成本有望降低，應(yīng)用前景更為廣闊。
風(fēng)險提示：AI大模型技術(shù)追趕和競爭加劇的風(fēng)險。由于下游生態(tài)和使用環(huán)境的差異，商業(yè)化成功有不確定性。AI生成內(nèi)容存在知識版權(quán)糾紛的風(fēng)險。
|
|
