>> 華泰證券-電子行業(yè)專題研究：關(guān)注AI大模型在終端側(cè)的輕量化應(yīng)用-230415
| 上傳日期： |
2023/4/15 |
大?。?/td>
| 964KB |
| 格式： |
pdf 共7頁 |
來源： |
華泰證券 |
| 評級： |
增持 |
作者： |
黃樂平,陳旭東,張皓怡 |
| 行業(yè)名稱： |
電子 |
| 下載權(quán)限： |
此報告為加密報告 |
|
|
高通、華為實現(xiàn)AI大模型在終端的輕量化部署，關(guān)注邊/端側(cè)算力機會
3月2日，高通在MWC 2023大會發(fā)布全球首個運行在Android手機上的Stable Diffusion終端側(cè)演示，Stable Diffusion模型參數(shù)超過10億，高通利用其AI軟件棧對模型進行量化、編譯和硬件加速優(yōu)化，使其成功在搭載第二代驍龍8移動平臺的手機上運行。此外，華為新一代P60系列手機將于5月上線智慧搜圖功能，該功能通過對模型進行小型化處理，實現(xiàn)其在端側(cè)輕量化應(yīng)用。我們認為模型壓縮技術(shù)是實現(xiàn)AI大模型在邊/端部署的核心技術(shù)。當前，谷歌、微軟、騰訊等廠商在該領(lǐng)域均有布局，將加速AI技術(shù)與智能終端融合，國內(nèi)SoC設(shè)計公司有望深度受益。
模型壓縮技術(shù)：有效降低推理算力需求，助力大模型的邊/端側(cè)部署
模型壓縮技術(shù)可在保有大模型原有性能和精度基本不變前提下降低對推理算力的需求：1）量化：將浮點計算轉(zhuǎn)成低比特定點計算；2）網(wǎng)絡(luò)剪枝：去除神經(jīng)網(wǎng)絡(luò)中冗余的通道、神經(jīng)元節(jié)點等；3）知識蒸餾：將大模型作為教師模型，用其輸出訓(xùn)練性能接近、結(jié)構(gòu)更簡的學(xué)生模型。以清華大學(xué)唐杰教授團隊2022年8月發(fā)布的1300億參數(shù)模型GLM-130B為例，原模型支持在一臺A100（40G8）或V100（32G8）服務(wù)器上進行推理，而將模型量化至INT4精度后，相較INT8精度其所需GPU內(nèi)存降低50%，且可在一臺4×RTX 3090（24G）或8×RTX 2080Ti（11G）服務(wù)器上進行推理。
全球洞察：谷歌等已將模型壓縮技術(shù)緊密結(jié)合移動端模型部署框架/工具
上世紀學(xué)術(shù)界率先提出網(wǎng)絡(luò)剪枝技術(shù)，并一直引領(lǐng)模型壓縮技術(shù)的突破。業(yè)界的發(fā)展緊隨其后，并進一步將模型壓縮技術(shù)集成至移動端模型部署框架/工具，主要參與者包括：1）深度學(xué)習(xí)框架廠商：谷歌（MLKit）、Meta（PyTorchMobile）；2）硬件廠商：英偉達（TensorRT）、英特爾（NNCF）、高通（AIMET）等；以及3）云服務(wù)廠商：微軟（ONNXRuntime）等。以谷歌2018年推出的MLKit為例，核心功能Learn2Compress模型壓縮技術(shù)結(jié)合網(wǎng)絡(luò)剪枝、量化以及知識蒸餾三項技術(shù)，可實現(xiàn)在CIFAR-10圖像分類測試任務(wù)中生成較NASNet尺寸縮小94倍的輕量化模型，且仍保持90%以上精度。
國內(nèi)現(xiàn)狀：互聯(lián)網(wǎng)廠商引領(lǐng)發(fā)展，國內(nèi)SoC設(shè)計企業(yè)有望受益
騰訊、百度為代表的國內(nèi)互聯(lián)網(wǎng)廠商在模型壓縮技術(shù)上也取得長足進展。2018年騰訊推出全球首款自動化深度學(xué)習(xí)模型壓縮框架PocketFlow，2022年百度開源的文心ERNIE-Tiny在線蒸餾方案可得到參數(shù)規(guī)模僅為原模型0.02%且效果相當?shù)妮p量級模型。我們認為伴隨模型壓縮技術(shù)發(fā)展，AI將加速與終端設(shè)備融合應(yīng)用，國內(nèi)相關(guān)領(lǐng)域布局公司包括：晶晨股份（機頂盒/電視/音箱SoC），全志科技（國內(nèi)音箱SoC龍頭），瑞芯微（AIOTSoC芯片）、恒玄科技（可穿戴藍牙音頻SoC）、炬芯科技（智能音頻SoC）、樂鑫科技（國內(nèi)Wi-Fi MCU龍頭）、中科藍訊（可穿戴藍牙音頻SoC）等。
風險提示：中美貿(mào)易摩擦加劇風險；AI及技術(shù)落地不及預(yù)期；本研報中涉及到未上市公司或未覆蓋個股內(nèi)容，均系對其客觀公開信息的整理，并不代表本研究團隊對該公司、該股票的推薦或覆蓋。
|
|
