>> 德邦證券-計算機行業(yè)點評：蒸餾模型加速AI平權(quán)-250207
| 上傳日期： |
2025/2/7 |
大?。?/td>
| 462KB |
| 格式： |
pdf 共2頁 |
來源： |
德邦證券 |
| 評級： |
優(yōu)于大市 |
作者： |
陳涵泊,李佩京 |
| 行業(yè)名稱： |
計算機 |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
投資要點：
成本僅50美元，性能媲美o1與R1，模型蒸餾技術(shù)的爆發(fā)年。根據(jù)Tech Crunch，李飛飛等斯坦福大學(xué)和華盛頓大學(xué)的AI研究人員的一篇新研究論文表示，他們成功地用不到50美元的費用訓(xùn)練了一個AI推理模型s1（僅為云計算服務(wù)費用，不包括服務(wù)器、顯卡等硬件投入費用）。
1）技術(shù)路徑：論文指出，推理模型可以通過相對較小的數(shù)據(jù)集和監(jiān)督微調(diào)（SFT）的過程進(jìn)行蒸餾，其中AI模型被明確指導(dǎo)去模仿數(shù)據(jù)集中的某些行為。具體來說，團隊構(gòu)建了“s1K”的數(shù)據(jù)集，由1000個精心篩選的問題組成，每個問題都配有推理軌跡（reasoning traces）和從Gemini Thinking Experimental蒸餾而來的答案。接著團隊在一個預(yù)訓(xùn)練模型上進(jìn)行監(jiān)督微調(diào)（SFT），僅使用16張H100 GPU訓(xùn)練26分鐘。此外，為了提高答案的準(zhǔn)確度，研究團隊還運用了一種“預(yù)算強制”技術(shù)，可以控制測試時間計算，通過強制提前終止模型的思考過程，或在s1推理時多次追加“等待”指令以延長思考，從而優(yōu)化性能。
2）測試結(jié)果：根據(jù)研究團隊的測試結(jié)果可知，在競賽數(shù)學(xué)問題上，s1-32B的表現(xiàn)較o1-preview高27%（MATH和AIME24）；且該模型在AIME24上的表現(xiàn)幾乎與Gemini 2.0 Thinking API相當(dāng)，顯示其蒸餾過程是有效的。
低成本、開源與蒸餾將大幅降低AI模型開發(fā)門檻，有望加速AI平權(quán)過程。根據(jù)極客公園，早在2025年1月，深度求索發(fā)布推理模型DeepSeek-R1正式版，采用MIT協(xié)議，同步開源模型權(quán)重，并允許用戶利用模型輸出、通過模型蒸餾等方式訓(xùn)練其他模型。DeepSeek主動引導(dǎo)將R1作為教師模型來蒸餾出一個更小但仍有實力的模型，通過DeepSeek-R1的輸出，蒸餾了6個小模型開源給社區(qū)，其中32B和70B模型在多項能力上實現(xiàn)了對標(biāo)OpenAI o1-mini的效果。我們認(rèn)為，結(jié)合此次李飛飛團隊通過超低成本從Gemini Thinking Experimental模型中蒸餾出的數(shù)據(jù)中訓(xùn)練了s1，同樣取得了優(yōu)異的模型性能，既印證了蒸餾技術(shù)是推動模型小型化與商品化的重要手段，有望縮小開源與閉源模型性能差距，從而加速AI平權(quán)過程；又為AI應(yīng)用與端側(cè)的爆發(fā)打下基礎(chǔ)。
投資建議。我們認(rèn)為，從DeepSeek R1到s1，不斷證明著2025年將是大模型普惠的起點，AI應(yīng)用與端側(cè)或?qū)⑼瑫r迎來AI成本下降與模型能力提升的全面加強；此外，在蒸餾技術(shù)支持下，Jevons悖論或得到持續(xù)論證，有望涌現(xiàn)更多現(xiàn)象級的高性價比小模型，在部署在端側(cè)和應(yīng)用的同時，推動模型逐漸從預(yù)訓(xùn)練向推理轉(zhuǎn)變，國產(chǎn)算力有望在推理算力爆發(fā)下迎來價值重估。建議關(guān)注：1）模型蒸餾：智信精密、拓爾思、思特奇、狄耐克、格靈深瞳、神州泰岳等；2）AI應(yīng)用：金山辦公、泛微網(wǎng)絡(luò)、致遠(yuǎn)互聯(lián)、博睿數(shù)據(jù)、中科星圖、金蝶國際、福昕軟件、彩訊股份、萬興科技、易點天下、航天宏圖等；3）AI端側(cè)：云天勵飛、世運電路、聯(lián)想集團、科大訊飛、樂鑫科技、中科藍(lán)訊等；4）AI算力：云天勵飛、華豐科技、海光信息、中科曙光、寒武紀(jì)、神州數(shù)碼、浪潮信息、潤澤科技、潤建股份、世紀(jì)互聯(lián)等。
風(fēng)險提示：上游供應(yīng)不及預(yù)期、下游AI產(chǎn)業(yè)落地速度不及預(yù)期、中游競爭格局加劇、國際局勢風(fēng)險、國內(nèi)外宏觀利率風(fēng)險等。
|
|
