>> 中原證券-人工智能行業(yè)專題：DeepSeek的稀疏注意力機制給AI產(chǎn)業(yè)釋放更大的發(fā)展?jié)撃?251016
| 上傳日期： |
2025/10/16 |
大?。?/td>
| 998KB |
| 格式： |
pdf 共9頁 |
來源： |
中原證券 |
| 評級： |
強于大市 |
作者： |
唐月 |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
投資要點：
人類在處理信息時選擇性地關(guān)注關(guān)鍵信息，從而提高了處理效率和準(zhǔn)確性。深度學(xué)習(xí)模仿人類的這種能力引入了注意力機制，從而給長文本處理帶來了可能性。
由于注意力機制面臨顯存開銷和計算復(fù)雜度兩大發(fā)展瓶頸，為了不斷通過Scaling Law提升大模型長文本處理能力和模型性能，AI產(chǎn)業(yè)不斷在進(jìn)行算法、系統(tǒng)、硬件三個層面的提升和優(yōu)化。其中在算法層面，DeepSeek作為開源大模型領(lǐng)域的代表和低成本模型方向的標(biāo)桿，在注意力機制的技術(shù)改進(jìn)方面也做了大量的工作。
NSA：2025年2月，DeepSeek梁文鋒參與撰寫的論文《NativeSparse Attention: Hardware-Aligned and Natively TrainableSparse Attention》發(fā)布，提出了原生稀疏注意力（NSA），通過算法和硬件的協(xié)同優(yōu)化，把長文本處理速度提升了11倍，并實現(xiàn)了與傳統(tǒng)的全注意力模型相當(dāng)或更優(yōu)的性能。
DSA：2025年9月DeepSeek發(fā)布了V3.2-Exp，它基于V3.1-Terminus構(gòu)建，引入了新的注意力機制DSA，在保持模型性能的穩(wěn)定的同時，在訓(xùn)練推理效率方面有了較大的提升，帶來了模型較大幅度的降價。由于不需要重新訓(xùn)練模型，而是進(jìn)行原有模型的升級，可以更低成本地進(jìn)行稀疏注意力的探索與實驗。
稀疏注意力的引入將注意力計算復(fù)雜度從O(L2)（L為序列長度）降至亞平方級（如O(Llog L)、(O(Lk)），從而突破內(nèi)存與算力瓶頸。此前，稀疏注意力工作主要集中在推理階段，而業(yè)界預(yù)訓(xùn)練階段多采用稠密注意力機制，而DeepSeek的NSA和DSA在訓(xùn)練階段引入了稀疏注意力，給大模型帶來的計算效率的提升和模型上下文的拓展，將給后訓(xùn)練釋放更大的發(fā)展?jié)撃埽蔀橥苿幽Ｐ湍芰Σ粩嗤黄频闹匾巍?br> 風(fēng)險提示：國際形勢的不確定性。
|
|
