>> 長江證券-軟件與服務(wù)行業(yè)AI產(chǎn)業(yè)跟蹤：月之暗面發(fā)布全新注意力架構(gòu)Kimi Linear，持續(xù)關(guān)注Agent LLM技術(shù)迭代-251106
| 上傳日期： |
2025/11/7 |
大?。?/td>
| 623KB |
| 格式： |
pdf 共5頁 |
來源： |
長江證券 |
| 評級： |
看好 |
作者： |
宗建樹 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
事件描述
10月31日，月之暗面推出了全新的混合線性注意力架構(gòu)Kimi Linear，核心目標是解決當前LLMs在處理長序列任務(wù)時面臨的計算效率和性能瓶頸，當然核心代碼已開源并得到驗證。
事件評論
新架構(gòu)旨在解決傳統(tǒng)Transformer在長文本處理和智能體式推理中的核心瓶頸——計算復(fù)雜度與內(nèi)存占用，有望成為下一代Agent LLM的基石技術(shù)。（1）3:1混合層級結(jié)構(gòu)，3個KDA層+1個全注意力層(MLA)固定比例堆疊，在該架構(gòu)下KV緩存減少75%，長序列解碼更高效。（2）無位置編碼全注意力（NoPE）：MLA取消顯式位置編碼，專注于純粹的內(nèi)容關(guān)聯(lián)，由KDA層承擔位置感知，負責處理與位置相關(guān)的動態(tài)信息。這種策略避免了RoPE頻率固定帶來的“長度過擬合”，長文本魯棒性更強，模型外推能力顯著提升。（3）與MoE結(jié)合：實驗中模型總參48B，每次推理僅激活3B（激活256個專家中的8個），稀疏計算進一步提升訓練和推理效率，不顯著增加計算成本的同時擴展模型參數(shù)規(guī)模。
性能對比，全面超越Full Attention。（1）基礎(chǔ)能力測試：隨著序列長度從256 →2048，KDA在所有任務(wù)均取得最高準確率，且收斂速度顯著快于GDN。（2）短上下文性能：同等預(yù)訓練后在幾乎所有類別中，Kimi Linear一致性優(yōu)于MLA和GDN-H。指令微調(diào)階段，Kimi Linear在通用任務(wù)多個基準上都取得最高分，數(shù)學與代碼任務(wù)中亦在AIME 2025等基準超越GDN和MLA。（3）長上下文（128K）性能：關(guān)鍵優(yōu)勢領(lǐng)域，平均分Kimi Linear54.5>MLA 52.2>GDN-H 51.2；RULER基準Kimi Linear 84.3>MLA 81.3；RepoQA（代碼理解）：Kimi Linear得分最高。GDN-H在長文本上退化明顯，但Kimi Linear穩(wěn)居第一。（4）RL性能：在數(shù)學強化學習任務(wù)上Kimi Linear收斂速度更快，訓練曲線與MLA差距隨時間擴大，測試集性能顯著領(lǐng)先。Transformer或?qū)⒉辉偈切阅艿奈ㄒ簧舷蕖?br> 效率對比，Kimi Linear的優(yōu)勢隨著序列長度的增加而急劇擴大。（1）解碼速度（1M長度），MLA速度為每token需要11.48ms，Kimi Linear僅為1.84ms，快6.3x。（2）預(yù)填充速度（1M長度）：Kimi Linear速度是MLA的2.9x。（3）內(nèi)存占用：Kimi Linear的KV緩存大小僅為純MLA模型的約25%。未來模型廠商有望以更低推理成本獲得更優(yōu)體驗。
總結(jié)來看，Kimi Delta Attention (KDA)本質(zhì)是一種表達能力更強的線性注意力模塊，通過更精細的門控機制增強表達能力，再以定制的、高度優(yōu)化的塊處理算法實現(xiàn)卓越的硬件效率。KDA展現(xiàn)了線性注意力在表達能力上的巨大潛力，尤其是長文本推理、多Agent和企業(yè)級知識系統(tǒng)場景下，推理成本與延遲顯著下降有望實現(xiàn)大規(guī)模部署，加快應(yīng)用落地。
關(guān)注模型后續(xù)發(fā)布。當前時點大模型技術(shù)仍在不斷迭代，考慮到當前成本仍為制約token消耗量的核心因素，商業(yè)化落地需要進一步關(guān)注模型在降本層面的效果。繼續(xù)看好國產(chǎn)AI產(chǎn)業(yè)鏈，持續(xù)重點推薦鏟子股和卡位優(yōu)勢顯著的巨頭本身。
風險提示
1、AI技術(shù)發(fā)展不及預(yù)期；
2、下游應(yīng)用需求不及預(yù)期。
|
|
