>> 華西證券-計算機(jī)行業(yè)：微軟開源Deep Speed Chat，堅定看好算力設(shè)施-230413
| 上傳日期： |
2023/4/14 |
大?。?/td>
| 657KB |
| 格式： |
pdf 共4頁 |
來源： |
華西證券 |
| 評級： |
推薦 |
作者： |
劉澤晶 |
| 行業(yè)名稱： |
計算機(jī) |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
事件概述:
2023年4月12日，微軟宣布開源了Deep Speed Chat，幫助用戶輕松訓(xùn)練類ChatGPT等大語言模型，使得人人都能擁有自己的ChatGPT。
核心觀點:
微軟開源Deep Speed Chat，人人擁有ChatGPT時代已來臨: ChatGPT模型的訓(xùn)練是基于InstructGPT論文中的RLHF方式，這使得現(xiàn)有深度學(xué)習(xí)系統(tǒng)在訓(xùn)練類ChatGPT模型時存在種種局限?，F(xiàn)在，通過Deep Speed Chat可以突破這些訓(xùn)練瓶頸，達(dá)到最佳效果。Deep Speed Chat擁有強(qiáng)化推理、RLHF模塊、RLHF系統(tǒng)三大核心功能。強(qiáng)化推理方面，可實現(xiàn)簡化ChatGPT類型模型的訓(xùn)練和強(qiáng)化推理；Deep Speed-RLHF模塊方面，復(fù)刻了InstructGPT論文中的訓(xùn)練模式，并確保包括監(jiān)督微調(diào)（SFT）、獎勵模型微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)在內(nèi)的三個步驟。DeepSpeed-HE能夠在RLHF中無縫地在推理和訓(xùn)練模式之間切換，使其能夠利用來自DeepSpeedInference的各種優(yōu)化。此外，Deep Speed Chat在成本、效率、擴(kuò)展性等方面非常優(yōu)秀，效率方面，此模型高效且節(jié)省成本，只在Azure云上只需9小時即可訓(xùn)練一個OPT-13B模型，只需18小時即可訓(xùn)練一個OPT-30B模型。這兩種訓(xùn)練分別花費不到300美元和600美元。
Deep Speed Chat高效賦能AI行業(yè)，顯著提升效率并降低成本，我們認(rèn)為AIGC百花齊放的時代已經(jīng)到來。我們認(rèn)為微軟此次開源Deep Speed Chat就像當(dāng)年的互聯(lián)網(wǎng)，為了提升發(fā)展速率降低了臺式機(jī)的價格，使得普通用戶也能擁有自己的電腦。效率方面，根據(jù)華爾街見聞消息，可將訓(xùn)練速度提升15倍以上，成本卻大幅度降低。例如，一個130億參數(shù)的類ChatGPT模型，只需1.25小時就能完成訓(xùn)練。我們認(rèn)為通過Deep Speed Chat解決資源、算法等難題，輕松、高效的訓(xùn)練數(shù)千億參數(shù)的最先進(jìn)的類ChatGPT模型。我們認(rèn)為AIGC百花齊放的時代已經(jīng)到來，原因是Deep Speed Chat顯著降低訓(xùn)練門檻，中小廠商有望以更低的成本加速實現(xiàn)類ChatGPT的開發(fā)，并顯著降低成本，AIGC百花齊放的時代正式來臨，我們認(rèn)為金融、辦公、醫(yī)療、智能助理、XR、智能助手、智慧音響等領(lǐng)域有望率先賦能。
再此重申強(qiáng)調(diào)ChatGPT的競爭本質(zhì)即大模型儲備競賽，算力是打造大模型生態(tài)的必備基礎(chǔ)，算力在大模型的背景下勢必迎來大爆發(fā)。算力是訓(xùn)練大模型的底層動力源泉，一個優(yōu)秀的算力底座在大模型(AI算法)的訓(xùn)練和推理具備效率優(yōu)勢，其中包括AI服務(wù)器、AI芯片等為核心產(chǎn)品。大模型參數(shù)呈現(xiàn)指數(shù)規(guī)模，引爆海量算力需求。根據(jù)財聯(lián)社和OpenAI數(shù)據(jù)，ChatGPT浪潮下算力缺口巨大，根據(jù)OpenAI數(shù)據(jù)，模型計算量增長速度遠(yuǎn)超人工智能硬件算力增長速度，存在萬倍差距。運算規(guī)模的增長，帶動了對AI訓(xùn)練芯片單點算力提升的需求，并對數(shù)據(jù)傳輸速度提出了更高的要求。根據(jù)智東西數(shù)據(jù)，過去五年，大模型發(fā)展呈現(xiàn)指數(shù)級別，部分大模型已達(dá)萬億級別，因此對算力需求也隨之攀升。
投資建議:
我們認(rèn)為ChatGPT等大模型的出現(xiàn)，勢必引爆算力需求。受益標(biāo)的為:首都在線、寒武紀(jì)、海光信息、浪潮信息、中科曙光、景嘉微、龍芯中科、神州數(shù)碼、拓維信息、廣電運通、云賽智聯(lián)、青云科技、優(yōu)刻得、光環(huán)新網(wǎng)、新炬網(wǎng)絡(luò)、工業(yè)富聯(lián)等。
風(fēng)險提示
政策推進(jìn)不及預(yù)期的風(fēng)險、宏觀經(jīng)濟(jì)下滑風(fēng)險、核心技術(shù)研發(fā)不及預(yù)期的風(fēng)險、中美貿(mào)易摩擦升級的風(fēng)險。
|
|
