久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

DeepSeek發(fā)布論文NSA（原生稀疏注意力，Native Sparse Attention），繼續(xù)在Transformer架構(gòu)的重要環(huán)節(jié)——Attention進(jìn)行優(yōu)化，不僅在效果上和傳統(tǒng)的Full Attention可比/領(lǐng)先，而且在解碼、前向/后向傳播上有6-12x的速度提升。結(jié)合x(chóng)AI發(fā)布的Grok-3來(lái)看，目前海外和國(guó)內(nèi)在大模型迭代思路上采取的是不同的思想，海外雖也引入MoE路線降低訓(xùn)練成本，但總體仍以充足的算力優(yōu)勢(shì)，追求Top 1的極致模型性能；而國(guó)內(nèi)則在算法和硬件上極致優(yōu)化，重點(diǎn)以有限的算力搏得更高的性能，追求推理效率。我們認(rèn)為，兩者并不沖突，而是共同從訓(xùn)練和推理兩方面帶動(dòng)算力整體需求的提升。
　　NSA：繼續(xù)優(yōu)化Transformer Attention，通過(guò)稀疏KV的方式提升效率
　　與DeepSeek V2/V3用MLA（Multi-head Latent Attention）優(yōu)化方向類似，NSA依然是在優(yōu)化Attention上下功夫，以減少Attention的復(fù)雜度。區(qū)別在于，MLA是把KVCache進(jìn)行壓縮，NSA是把KV進(jìn)行了“三層級(jí)”劃分，并從中有選擇性的舍棄掉一部分，達(dá)到“稀疏”效果，提高效率。1）粗層級(jí)：做大規(guī)模壓縮，例如8個(gè)KV壓成1個(gè)；2）細(xì)層級(jí)：從粗層級(jí)中找到重要的部分，再細(xì)粒度的選擇重要的KV，丟掉不重要的KV；3）小窗口層級(jí)：通過(guò)滑窗的形式，聚焦當(dāng)下的局部上下文KV信息。這“三層級(jí)”算法融合后輸出，得到最終的Attention結(jié)果。
　　軟件優(yōu)化疊加硬件優(yōu)化，兩手都要硬
　　NSA不僅優(yōu)化軟件算法，還優(yōu)化了硬件Kernel，以配合NSA的稀疏Attention，實(shí)現(xiàn)更高效的軟硬件編排。具體Kernel的優(yōu)化方法是，按照分組注意力GQA（Grouped Query Attention），從HBM中加載Q(uery)到SRAM中，并在SRAM中計(jì)算Q(uery)K(ey)V(alue)注意力，然后將結(jié)果放回到HBM中。結(jié)合DeepSeek-V3來(lái)看，V3同樣進(jìn)行了計(jì)算通信重疊、內(nèi)存占用等硬件優(yōu)化，我們認(rèn)為，未來(lái)國(guó)內(nèi)對(duì)于LLM優(yōu)化的相當(dāng)一部分重點(diǎn)將在于硬件編排優(yōu)化，本質(zhì)是提高硬件的MFU（model FLOPS utilization）。
　　海外靠大算力突破邊界，國(guó)內(nèi)靠細(xì)優(yōu)化提升效率
　　結(jié)合x(chóng)AI發(fā)布的Grok-3，xAI已經(jīng)將10萬(wàn)卡集群擴(kuò)展到20萬(wàn)，確實(shí)帶來(lái)了當(dāng)下全球最領(lǐng)先的預(yù)訓(xùn)練/推理模型性能。對(duì)比xAI和DeepSeek，10萬(wàn)卡vs萬(wàn)卡，Grok-3相比R1在某些測(cè)評(píng)集上提高了20%左右效果，是否有性價(jià)比？我們認(rèn)為，這并不沖突。1）海外要的是技術(shù)路徑領(lǐng)先和商業(yè)化閉源，只有靠堆算力才能試錯(cuò)，才能突破邊界，才能保持領(lǐng)先。2）國(guó)內(nèi)要的是在已知路徑上實(shí)現(xiàn)最優(yōu)解，用有限的卡實(shí)現(xiàn)更高的效率，“精耕細(xì)作”的軟硬件優(yōu)化是必修課。我們認(rèn)為，這是國(guó)內(nèi)外路徑的選擇問(wèn)題，而整體看，訓(xùn)練/推理算力都是較為確定的增量。
　　DeepSeek有望加速模型訓(xùn)練與CUDA解耦
　　DeepSeek在V3中使用了相比CUDA更底層的PTX來(lái)優(yōu)化硬件算法，PTX是CUDA編譯的中間代碼，在CUDA和最終機(jī)器碼之間起到橋梁作用。而NSA則使用了OpenAl提出的Triton編程語(yǔ)言高效編寫GPU代碼，Triton的底層可調(diào)用CUDA，也可調(diào)用其他GPU語(yǔ)言，包括AMD的rocm以及國(guó)產(chǎn)算力芯片語(yǔ)言，如寒武紀(jì)的思元590芯片和海光信息的深算一號(hào)（DCU）內(nèi)置的HYGONISA指令集。LLM的訓(xùn)練短期內(nèi)雖未完全脫離CUDA生態(tài)，但DeepSeek NSA的推出使其初步呈現(xiàn)出與CUDA解耦的趨勢(shì)，并為后續(xù)適配更多類型的算力芯片奠定基礎(chǔ)。以異騰為代表的國(guó)產(chǎn)算力已經(jīng)很好的適配了DeepSeek-R1等國(guó)產(chǎn)模型，并取得了高效推理的效果。我們認(rèn)為，伴隨海外算力的受限，針對(duì)國(guó)產(chǎn)算力的優(yōu)化或?qū)⒂谐掷m(xù)進(jìn)展，值得重視。
　　風(fēng)險(xiǎn)提示：AI技術(shù)迭代不及預(yù)期，AI商業(yè)化落地不及預(yù)期。