久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

投資邏輯
　　我們2022年12月發(fā)布的報(bào)告《深度學(xué)習(xí)算法：從多樣到統(tǒng)一》中，闡述了自Google 2017年提出Transformer以來(lái)，深度學(xué)習(xí)開(kāi)始進(jìn)入大模型時(shí)代。大模型時(shí)代的前沿技術(shù)發(fā)展圍繞著提升效率而展開(kāi)，包括：1）提升訓(xùn)練方法效率：向無(wú)監(jiān)督和半監(jiān)督學(xué)習(xí)發(fā)展；2）提升數(shù)據(jù)效率：從追求數(shù)據(jù)規(guī)模向追求數(shù)據(jù)質(zhì)量發(fā)展；3）提升開(kāi)發(fā)效率：通過(guò)“預(yù)訓(xùn)練基礎(chǔ)模型+微調(diào)”，挖掘現(xiàn)有大模型潛力，降低具體下游任務(wù)的開(kāi)發(fā)成本；4）提升算力效率：從稠密機(jī)構(gòu)向稀疏結(jié)構(gòu)發(fā)展；5）提升訓(xùn)練的工程化效率：向并行訓(xùn)練和混合精度訓(xùn)練發(fā)展
　　訓(xùn)練方法：AI模型的訓(xùn)練方法主要包括監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)兩種典型方式，后隨模型訓(xùn)練數(shù)據(jù)量的增加，衍生出使用大量未標(biāo)注數(shù)據(jù)+少量標(biāo)注數(shù)據(jù)的半監(jiān)督學(xué)習(xí)方法。AI訓(xùn)練方法的發(fā)展歷經(jīng)“監(jiān)督-無(wú)監(jiān)督-監(jiān)督-無(wú)監(jiān)督/半監(jiān)督”4個(gè)階段，在目前的大模型階段，無(wú)監(jiān)督/半監(jiān)督訓(xùn)練再次成為主流。
　　數(shù)據(jù)效率：隨參數(shù)規(guī)模的增加，大模型在知識(shí)密集型任務(wù)中的效果提升顯著。此外，當(dāng)模型參數(shù)超過(guò)特定閾值后，模型會(huì)對(duì)特定任務(wù)表現(xiàn)出“涌現(xiàn)”現(xiàn)象。目前學(xué)界和業(yè)界已意識(shí)到數(shù)據(jù)質(zhì)量的重要性或高于數(shù)據(jù)數(shù)量，AI大模型需要在保證數(shù)據(jù)質(zhì)量的前提下進(jìn)行數(shù)據(jù)數(shù)量和參數(shù)規(guī)模的擴(kuò)充。
　　開(kāi)發(fā)效率：AI大模型的流行提出了“基礎(chǔ)模型+微調(diào)”的AI開(kāi)發(fā)新范式。相較于過(guò)去“一場(chǎng)景、一任務(wù)、一模型”的開(kāi)發(fā)模式，“基礎(chǔ)模型+微調(diào)”具有數(shù)據(jù)需求量小、訓(xùn)練時(shí)間短、落地邊際成本低等優(yōu)點(diǎn)。微調(diào)技術(shù)的發(fā)展帶動(dòng)大模型由“以參數(shù)規(guī)模取勝”向“以高質(zhì)量學(xué)習(xí)取勝”轉(zhuǎn)變。
　　算力效率：AI架構(gòu)可分為稠密結(jié)構(gòu)和稀疏結(jié)構(gòu)，其中稀疏結(jié)構(gòu)可有效降低大模型對(duì)算力的消耗。2017年Google提出了混合專(zhuān)家方法MoE，使得模型在計(jì)算過(guò)程中只需激活部分神經(jīng)網(wǎng)絡(luò)；2022年6月Google發(fā)布的基于稀疏結(jié)構(gòu)的多模態(tài)模型LimoE，已經(jīng)在降低算力消耗的同時(shí)取得不亞于稠密結(jié)構(gòu)的成績(jī)。
　　工程化效率：伴隨AI大模型參數(shù)量的不斷提升，并行訓(xùn)練、混合精度訓(xùn)練等技術(shù)發(fā)展迅速。其中，國(guó)產(chǎn)AI框架百度PaddlePaddle提出的4D混合并行策略在MLPerf發(fā)布的稠密結(jié)構(gòu)AI訓(xùn)練性能榜單中位列第一；通過(guò)使用16位浮點(diǎn)數(shù)代替32位浮點(diǎn)數(shù)進(jìn)行訓(xùn)練，能夠在同等模型表現(xiàn)的情況下實(shí)現(xiàn)訓(xùn)練時(shí)間減半。
　　投資建議
　　建議關(guān)注受益于AI算法進(jìn)步，并能成功進(jìn)行商業(yè)化應(yīng)用的科大訊飛、商湯科技等公司；以及受益于AI算力需求、微調(diào)技術(shù)發(fā)展的海光信息、浪潮信息、海天瑞聲等公司。
　　風(fēng)險(xiǎn)提示
　　海外基礎(chǔ)軟硬件使用受限；骨干網(wǎng)絡(luò)創(chuàng)新放緩；應(yīng)用落地不及預(yù)期