>> 長江證券-軟件與服務(wù)行業(yè)AI產(chǎn)業(yè)跟蹤：DeepSeek-V3.2-Exp發(fā)布，持續(xù)看好國內(nèi)大模型商業(yè)化落地與出海趨勢-251005
| 上傳日期： |
2025/10/5 |
大?。?/td>
| 610KB |
| 格式： |
pdf 共5頁 |
來源： |
長江證券 |
| 評級： |
看好 |
作者： |
宗建樹 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
事件描述
2025年9月29日，DeepSeek-V3.2-Exp正式發(fā)布，參數(shù)量685B，系實驗性（Experimental）版本，在V3.1-Terminus基礎(chǔ)上引入DeepSeek Sparse Attention（一種稀疏注意力機(jī)制），針對長文本的訓(xùn)練和推理效率進(jìn)行了探索性的優(yōu)化和驗證。目前，官方App、網(wǎng)頁端、小程序均已同步更新，API大幅度降價。
事件評論
長文本訓(xùn)推效率顯著優(yōu)化。V3.2-Exp定位“邁向新一代架構(gòu)的中間步驟”，在此前發(fā)布的V3.1-Terminus基礎(chǔ)上引入了DeepSeek Sparse Attention（一種稀疏注意力機(jī)制），首次實現(xiàn)細(xì)粒度稀疏注意力機(jī)制，在幾乎不影響模型輸出效果的前提下，實現(xiàn)了長文本訓(xùn)練和推理效率的大幅提升。DSA核心機(jī)制：通過引入高效組件閃電索引器（LightningIndexer）給歷史詞打分，挑出最相關(guān)的幾個（top-k），只和這些詞進(jìn)行注意力計算。這樣模型能抓住最重要的信息，核心注意力的計算復(fù)雜度從O(L2)驟降至O(Lk)，算力大幅節(jié)省，由此訓(xùn)練和推理速度實現(xiàn)大幅提升，尤其在長文本場景下效果明顯，且復(fù)雜度低，可用FP8實現(xiàn)，有望加速規(guī)?；涞亍?br> 成本降低促進(jìn)落地，并且有望成為出海核心產(chǎn)品。V3.2-Exp在實際部署的推理成本測試中，端到端的加速效果和成本節(jié)約非常顯著，API成本降低50%以上。當(dāng)前輸入價格由￥0.5/M tokens→￥0.2/M tokens（緩存命中）、￥4/M tokens→￥2/M tokens（緩存未命中），輸出價格￥12/M tokens→￥3/M tokens，模型競爭力極大提升。我們認(rèn)為現(xiàn)階段成本仍是現(xiàn)階段制約AI大規(guī)模普及的核心因素，V3.2大幅降本有助于國內(nèi)AI普及率提升與出海競爭。
訓(xùn)練流程分階段優(yōu)化，兼顧效率與性能。V3.2-Exp的訓(xùn)練流程分為兩個階段：首先在持續(xù)預(yù)訓(xùn)練中，先用Dense Warm-up讓閃電索引器學(xué)會模仿完整注意力分布，再逐步切換到稀疏模式，讓模型適應(yīng)只關(guān)注最相關(guān)的token；后訓(xùn)練中，結(jié)合專家蒸餾（從數(shù)學(xué)、編程、推理等領(lǐng)域?qū)＜夷Ｐ吞釤捴R）和混合強(qiáng)化學(xué)習(xí)（一次性平衡推理、Agent與對齊訓(xùn)練），保證模型在不同任務(wù)上穩(wěn)健泛化。最終結(jié)果表明，無論在短文本還是長文本任務(wù)上，V3.2-Exp的表現(xiàn)都與前一代密集注意力模型V3.1-Terminus基本持平，未出現(xiàn)實質(zhì)性性能下降。我們認(rèn)為這為大模型突破長文本瓶頸指明新工程路徑與可復(fù)用的范式。
V3.2-Exp并非最終形態(tài)，而是從密集注意力邁向新一代高效架構(gòu)的過渡版本，持續(xù)關(guān)注DeepSeek后續(xù)發(fā)布。我們認(rèn)為，模型使用成本的下降是持續(xù)性趨勢，今年是模型實用性、全面性、Agent能力、性價比提升核心的一年，后續(xù)有望持續(xù)促進(jìn)垂類場景落地，并且?guī)釉萍坝布枨罅刻嵘?，有望利好后續(xù)國內(nèi)模型憑低成本出海趨勢。強(qiáng)烈看好國內(nèi)AI應(yīng)用貨幣化開啟及Agent商業(yè)化投資機(jī)遇。建議關(guān)注：1）AIInfra；2）AIAgent相關(guān)廠商；3）中國推理算力產(chǎn)業(yè)鏈；4）CSP廠商方面關(guān)注推理需求帶來的推動；5）IDC，重點關(guān)注與頭部大廠合作的IDC。
風(fēng)險提示
1、AI技術(shù)發(fā)展不及預(yù)期；
2、下游應(yīng)用需求不及預(yù)期
|
|
