>> 五礦證券-機械設備行業(yè)高端制造產(chǎn)業(yè)跟蹤(1月):DeepSeek爆火預示著投資方向的何種變化?-250207
| 上傳日期: |
2025/2/8 |
大?。?/td>
| 2834KB |
| 格式: |
pdf 共32頁 |
來源: |
五礦證券 |
| 評級: |
看好 |
作者: |
祁巖 |
| 行業(yè)名稱: |
機械 |
| 下載權限: |
此報告為加密報告,僅限高級會員查看 |
|
|
板塊觀點 DeepSeek系列為什么爆火? DeepSeek實現(xiàn)行業(yè)領先模型能力,并且對代碼開源。在AIME2024、Codeforces、GPQADiamond、Math-500、MMLU等多個測試中,DeepSeek-R1展現(xiàn)出媲美OpenAI-o1的模型能力。 DeepSeek的模型成本大幅下降。在成本方面,DeepSeek-R1的API服務輸出定價為16元/1MTokens,相較于openAI-o1下降96%。對2024年12月發(fā)布的DeepSeek-V3,其API服務輸出訂單僅為8元(活動優(yōu)惠期內為2元)/1MTokens。 DeepSeek系列有哪些關鍵的技術突破? DeepSeek系列模型有2個核心的模型,DeepSeek V3和DeepSeek R1/R1-zero。 DeepSeek V3在傳統(tǒng)專家混合模型(MoE)上改進,實現(xiàn)了超低的訓練成本。傳統(tǒng)MoE模型存在負載均衡問題,在低精度訓練方面也容易受到異常值影響。DeepSeek V3通過動態(tài)調整專家負載,避免了傳統(tǒng)方案的性能損失,并且通過FP8混合精度訓練框架驗證了FP8在超大規(guī)模模型上的可行性。通過優(yōu)化算法、框架和硬件協(xié)同,DeepSeek V3的訓練需要180KH800 GPU hours(2048塊H800上訓練50-60天),訓練成本僅557.6萬美元。相比之下,OpenAI訓練GPT-4使用了2萬塊A100顯卡訓練90-100天,訓練成本約6300萬美元。 DeepSeek R1/R1-zero通過大規(guī)模強化學習訓練,涌現(xiàn)出強大推理能力。DeepSeek R1/R1-zero都是是通過大規(guī)模強化學習訓練而來的模型,其中R1-zero沒有將有監(jiān)督微調(supervised fine-tuning ,SFT)作為初始步驟。最早采用強化學習方法進行訓練的模型是OpenAI o1。OpenAI研究科學家、o1核心貢獻者Hyung Won Chung在MIT進行過一次名為“Don’t teach. Incentivize(不要教,要激勵)”的演講,就論述了這一理念。Hyung WonChung認為AI領域正處于一次范式轉變,即從傳統(tǒng)的直接教授技能轉向激勵模型自我學習和發(fā)展通用技能。AGI所需要的技能太多,我們無法列舉出每一項技能去teach,因此唯一可行的方法就是incentivize激勵,讓模型自己的思考、去涌現(xiàn)新的能力。在訓練中,R1/R1-zero的推理能力通過強化學習自然涌現(xiàn),思考時間隨著模型的進行持續(xù)提升,自然而然地獲得了解決越來越復雜推理任務的能力。 相比R1,R1-zero省略了監(jiān)督有監(jiān)督微調SFT環(huán)節(jié),完全依賴于強化學習,進一步減少了人工干預,引起了更多的關注。這對于那些難以獲取大量高質量標注數(shù)據(jù)的領域來說,具有重要的意義。 風險提示 1、人形機器人技術進展不及預期,成本下降不及預期。 2、需求不及預期風險。 3、受制于電池成本及補能便捷性,設備電動化滲透率不及預期。
|
|