>> 華泰證券-計算機行業(yè)Grok-3：RL成為共識，持續(xù)看好預(yù)訓(xùn)練算力需求-250219
| 上傳日期： |
2025/2/19 |
大?。?/td>
| 1381KB |
| 格式： |
pdf 共10頁 |
來源： |
華泰證券 |
| 評級： |
增持 |
作者： |
謝春生 |
| 行業(yè)名稱： |
計算機 |
| 下載權(quán)限： |
此報告為加密報告 |
|
|
2025年2月18日，xAI發(fā)布了基于全球最大算力集群（約20萬塊GPU）訓(xùn)練的新一代大模型：1）預(yù)訓(xùn)練模型：Grok-3與Grok-3 mini，在Math、Science、Coding測評集上超過了Gemini-2 Pro、GPT-4o以及DeepSeek-V3；2）推理模型：Grok-3的Reasoning版本在性能上超越了OpenAI o3 mini (high)。Grok-3系列將首先面向X平臺的Premium Plus訂閱用戶開放，包括聊天功能、DeepSearch與高級推理模式。我們認為，一方面Grok-3訓(xùn)練集群已達到20萬卡級別，證明預(yù)訓(xùn)練在算力提升下仍能突破；另一方面，xAI將采用“延遲開源”策略，即在Grok-3打磨完善后，開源Grok-2，實現(xiàn)了商業(yè)化和開源的平衡，開源社區(qū)有望被持續(xù)賦能。
繼續(xù)看好大模型預(yù)訓(xùn)練算力需求
xAI指出，Big intelligence requires big compute，Grok-3相比Grok-2提升了10x的訓(xùn)練算力。2024年9月3日，馬斯克宣布xAI的10萬卡H100集群上線，本次發(fā)布會再次表示xAI的訓(xùn)練集群GPU數(shù)已擴大到了20萬。我們認為，雖然目前在預(yù)訓(xùn)練數(shù)據(jù)上存在瓶頸，但是合成數(shù)據(jù)、RL數(shù)據(jù)、工程能力優(yōu)化，甚至Transformer架構(gòu)迭代，或能逐步打破瓶頸，Grok-3已經(jīng)證明預(yù)訓(xùn)練依然有突破空間，持續(xù)看好全球頭部大模型預(yù)訓(xùn)練算力需求。
在預(yù)訓(xùn)練基座模型上進行大規(guī)模RL將是25年主線
OpenAI于2024年9月推出o1系列模型，并且首次公開提出將RL運用在大模型的后訓(xùn)練中，實現(xiàn)大模型以思維鏈（CoT）方式推理。DeepSeek-R1獨立摸索出了在預(yù)訓(xùn)練模型V3基礎(chǔ)上，直接使用GRPO算法來進行大規(guī)模的強化學(xué)習(xí)并獲得成功。Google Gemini 2.0也發(fā)布了Flash Thinking的推理模型，Anthropic也宣布即將發(fā)布能手動控制成本的推理模型。RL已經(jīng)成為全球模型廠商共識的技術(shù)迭代路徑。本次Grok-3發(fā)布，同樣更新了Reasoning模型，運用RL+CoT的方式實現(xiàn)Test-Time Compute，并且基于更好的Grok-3基座模型，超過了o3-mini的推理性能。我們認為，RL將成為2025年模型迭代的主線，迭代方法或是繼續(xù)加大RL的步數(shù)（steps）或改進RL框架，以更好的訓(xùn)練模型CoT作答能力。
DeepSearch成為Agent集中落地的方向，更多Agents有望問世
整合信息進行輸出的Agent正成為集中落地方向。OpenAI于2月3日發(fā)布Deep Research功能，這是一個使用推理來綜合大量在線信息并為用戶完成多步驟研究任務(wù)的智能體。同樣，xAI本次發(fā)布會發(fā)布基于Grok-3的第一代Agent產(chǎn)品DeepSearch，能深入思考用戶意圖，瀏覽多個網(wǎng)站內(nèi)容，在輸出最終答案前會驗證不同來源，確保答案正確。它不僅能幫助工程師、研究人員和科學(xué)家進行編碼，還能幫助所有人回答日常問題，幫助用戶理解世界。同時馬斯克表示，當下一個版本模型完全發(fā)布時將開源上一個版本。我們認為，全球大模型廠商的開源化趨勢將進一步帶動應(yīng)用層的蓬勃發(fā)展，基于更強大模型的Agents有望快速問世。
語音交互即將上線，RL+多模態(tài)能力值得期待
多模態(tài)方面，Grok語音助手也將盡快推出，這將是一個能理解用戶話語并直接生成音頻的單一模型，也將融入RL的能力。目前，xAI團隊正在開發(fā)對話記憶功能，未來用戶可以選擇擁有一個或多個Grok，實現(xiàn)個性化交互。我們認為，結(jié)合RL能力后模型的多模態(tài)能力也有望得到加強，建議持續(xù)關(guān)注多模態(tài)產(chǎn)品進展情況。
風(fēng)險提示：AI技術(shù)迭代不及預(yù)期；AI商業(yè)化不及預(yù)期；本報告基于客觀信息整理，不構(gòu)成投資建議。
|
|
