久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

事件描述
　　9月12日，阿里發(fā)布了下一代基礎(chǔ)模型架構(gòu)Qwen3-Next，并開源了基于該架構(gòu)的Qwen3-Next-80B-A3B系列模型。
　　事件評論
　　Qwen3-Next更新模型結(jié)構(gòu)，模型長上下文和大規(guī)?？倕?shù)下的訓(xùn)練和推理效率進(jìn)一步提升。此次Qwen3-Next進(jìn)行了一系列模型更新，包括1）混合注意力機(jī)制：由于單純使用線性注意力或標(biāo)準(zhǔn)注意力均存在局限，Qwen3-Next引入了Gated DeltaNet，并采用3:1的混合策略（即75%層使用Gated DeltaNet，25%層保留標(biāo)準(zhǔn)注意力），從而兼顧性能與效率；2）高稀疏度MoE結(jié)構(gòu)：Qwen3-Next采用高稀疏度的MoE架構(gòu)，總參數(shù)量達(dá)800億，但每次推理僅激活約30億參數(shù)，同時擴(kuò)展到512個總專家，并采用10路由專家加1共享專家的組合設(shè)計(jì)，在保證性能的前提下最大化資源利用率；3）穩(wěn)定性優(yōu)化：Qwen3-Next采用了Zero-Centered RMSNorm，同時對norm weight施加weight decay,以避免權(quán)重?zé)o界增長，并初始化時歸一化了MoE router的參數(shù)，從而保證了模型各部分的數(shù)值穩(wěn)定；4）多token預(yù)測機(jī)制：Qwen3-Next引入了原生Multi-Token Prediction（MTP）機(jī)制，從而得到了Speculative Decoding接受率較高的MTP模塊，并提升了主干本身的綜合性能?；谶@些改進(jìn)，阿里Qwen團(tuán)隊(duì)訓(xùn)練了Qwen3-Next-80B-A3B-Base模型，該模型擁有800億參數(shù)僅激活30億參數(shù)。該Base模型實(shí)現(xiàn)了與Qwen3-32Bdense模型相近甚至略好的性能，而訓(xùn)練它所需的GPUHours不到Qwen3-30A-3B的80%，相比Qwen3-32B，僅需9.3%的GPU計(jì)算資源就能取得更優(yōu)性能。同時Qwen3-Next在推理效率也大幅提升，在4k tokens的上下文長度下，吞吐量接近前者的7倍；當(dāng)上下文長度超過32k時，吞吐提升更是達(dá)到10倍以上。
　　開源共建，Qwen3.5有望持續(xù)優(yōu)化。此次，Qwen3-Next在模型架構(gòu)上實(shí)現(xiàn)了重大突破，引入了注意力機(jī)制方面的多項(xiàng)創(chuàng)新，包括線性注意力和注意力門控機(jī)制，并在其MoE設(shè)計(jì)中進(jìn)一步提升了稀疏性，并且該模型已在魔搭社區(qū)和HuggingFace開源。我們認(rèn)為在開源策略下，開發(fā)者的使用門檻有望顯著降低，從而加速技術(shù)的傳播和應(yīng)用，同時也助于構(gòu)建一個更加開放、協(xié)作的社區(qū)，促進(jìn)技術(shù)的持續(xù)創(chuàng)新。Qwen3-Next模型的發(fā)布或?qū)⑦M(jìn)一步加速國產(chǎn)大模型在技術(shù)和性能上的突破。
　　Qwen3-Next開源發(fā)布，國產(chǎn)大模型持續(xù)突破。Qwen3-Next在模型架構(gòu)上的重大突破展現(xiàn)出國產(chǎn)大模型的性能和技術(shù)正持續(xù)向世界領(lǐng)先水平演進(jìn)，并有望在開源策略下持續(xù)加速。同時其在性能提升的同時進(jìn)一步降低了訓(xùn)練成本，從而有望進(jìn)一步加速國產(chǎn)AI應(yīng)用落地進(jìn)程，并推動算力需求的爆發(fā)。建議關(guān)注：1）中國推理算力產(chǎn)業(yè)鏈，重點(diǎn)推薦國內(nèi)AI芯片領(lǐng)軍寒武紀(jì)；2）阿里云產(chǎn)業(yè)鏈；3）云服務(wù)廠商；4）IDC，重點(diǎn)關(guān)注于騰訊、阿里、字節(jié)等大廠合作的IDC。
　　風(fēng)險提示
　　1、AI技術(shù)發(fā)展不及預(yù)期；
　　2、下游應(yīng)用需求不及預(yù)期。