>> 國盛證券-通信行業(yè)Dolly2.0發(fā)布：大模型開發(fā)加速器-230415
| 上傳日期： |
2023/4/16 |
大?。?/td>
| 276KB |
| 格式： |
pdf 共2頁 |
來源： |
國盛證券 |
| 評級： |
增持 |
作者： |
宋嘉吉,孫爽 |
| 行業(yè)名稱： |
通信 |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
事件：4月12日，大數(shù)據(jù)分析公司Databricks發(fā)布經(jīng)過指令數(shù)據(jù)集調(diào)試的大語言模型（LLM）Dolly2.0，宣布正開源其代碼、數(shù)據(jù)集和模型參數(shù)（120億個），并開放商用。
高質(zhì)量指令數(shù)據(jù)集，復(fù)現(xiàn)ChatGPT的關(guān)鍵一步。ChatGPT表現(xiàn)驚艷，復(fù)現(xiàn)它一時間成AIGC“兵家必爭之地”。雖然閉源，但ChatGPT并非完全的黑盒子，可以從其開發(fā)公司OpenAI發(fā)布的若干技術(shù)報告中覓得芳蹤。例如，高質(zhì)量人類指令數(shù)據(jù)集，就是ChatGPT公開的秘密武器庫之一。根據(jù)OpenAI，ChatGPT聘請了40名人類標(biāo)注員，使用了和InstructGPT相同的訓(xùn)練方法——基于人類反饋的強化學(xué)習(xí)（RLHF），它分為三個步驟：1）監(jiān)督微調(diào)（SFT）：讓標(biāo)注員回答人類提問，用這一標(biāo)注數(shù)據(jù)訓(xùn)練GPT；2）獎勵模型（RM）訓(xùn)練：讓標(biāo)注員對機器的回答排序，相較于第一步由標(biāo)注員直接撰寫回答的生成式標(biāo)注，排序作為判別式標(biāo)注的成本更低，用這一標(biāo)注訓(xùn)練模型，讓它模擬人類排序；3）無人類標(biāo)注，用近端策略優(yōu)化算法（PPO）微調(diào)模型。這三個步驟對應(yīng)的數(shù)據(jù)集的大小分別為1.3萬個、3.3萬個、3.1萬個。RLHF是ChatGPT早期版本GPT3所不具備的功能，它使得只有13億參數(shù)的InstructGPT表現(xiàn)出了比1750億參數(shù)GPT-3更好的真實性、無害性和人類指令遵循度，更被標(biāo)注員認(rèn)可，同時不會折損GPT-3在學(xué)術(shù)評估維度上的效果。
Dolly2.0“手動”打造指令數(shù)據(jù)集，啟發(fā)ChatGPT商用復(fù)現(xiàn)。近期開源大模型涌現(xiàn)，性能可圈可點（在部分問題的回答效果上接近ChatGPT），并且參數(shù)較?。s為百億規(guī)模），訓(xùn)練成本低廉（不到1千美元），但指令數(shù)據(jù)集普遍基于GPT家族，基于OpenAI對版權(quán)的保護(hù)，無法商用。例如，斯坦福大學(xué)Alpaca的指令數(shù)據(jù)集有5.2萬條，來自O(shè)penAI的text-davinci-003引擎；加州大學(xué)Koala使用了約10萬條用戶與ChatGPT的對話數(shù)據(jù)；GPT4All的指令數(shù)據(jù)集來自GPT-3.5-Turbo；Vicuna使用了7萬條用戶與ChatGPT的對話數(shù)據(jù)。Dolly 2.0受ChatGPT監(jiān)督微調(diào)（SFT）步驟啟發(fā)，自行打造了高質(zhì)量人類指令數(shù)據(jù)集，引領(lǐng)類GPT大模型進(jìn)入商用新時代。具體來說，Databricks通過比賽和游戲的方式，激勵5千多名員工自行撰寫了1.5萬條指令數(shù)據(jù)集的問題與答案對。盡管Databricks沒有發(fā)布Dolly2.0與ChatGPT回答的詳細(xì)的測試報告，但其方法與前述開源模型有一致性，所采用的技術(shù)路線都是“不增加模型參數(shù)，因此無需增加更多算力開支，而增加訓(xùn)練數(shù)據(jù)集本身的質(zhì)量”，為行業(yè)提供了復(fù)現(xiàn)ChatGPT并商用化的新“彈藥”。
模型和應(yīng)用爆發(fā)時代，看好算力底座價值。正如我們在此前的報告《Web3視角下的AIGC算力進(jìn)化論》中闡述的，“模型”或許不足以構(gòu)成大語言模型應(yīng)用的壁壘，伴隨著ChatGPT復(fù)現(xiàn)“運動”的不斷深化，“數(shù)據(jù)”或許也將不再是掣肘，“每個中型公司也擁有一個GPT”的未來或?qū)崿F(xiàn)，而與此同時，隨著應(yīng)用層不斷將“蛋糕”做大，大型公司不斷發(fā)展更大規(guī)模的模型，中小型公司不斷入場，“算力”作為底座始終具備戰(zhàn)略意義。
投資建議：該主題下建議關(guān)注：第三方IDC服務(wù)商：光環(huán)新網(wǎng)、奧飛數(shù)據(jù)、數(shù)據(jù)港、潤澤科技、科華數(shù)據(jù)、寶信軟件、世紀(jì)華通等。同時關(guān)注與之配套的：1）光模塊服務(wù)商：新易盛、天孚通信、中際旭創(chuàng)、太辰光等；2）基礎(chǔ)電信運營商：中國電信、中國移動、中國聯(lián)通等；3）云計算服務(wù)平臺：亞馬遜、微軟、谷歌、阿里、騰訊等。
風(fēng)險提示：AIGC技術(shù)發(fā)展不及預(yù)期，AIGC商業(yè)落地進(jìn)程不及預(yù)期。
|
|
