>> 申萬宏源-計算機AI行業(yè)系列點評：ChatGPT／AIGC九問九答-230206
| 上傳日期： |
2023/2/6 |
大小： |
1662KB |
| 格式： |
pdf 共13頁 |
來源： |
申萬宏源 |
| 評級： |
看好 |
作者： |
劉洋,林起賢,洪依真 |
| 行業(yè)名稱： |
計算機 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
近期市場對于AIGC/ChatGPT關(guān)注較高，投資者常見以下問題。
Q：大規(guī)模預(yù)訓(xùn)練模型（大模型）與小模型的核心區(qū)別？相比小模型，大模型有什么優(yōu)勢？首先最核心區(qū)別在于參數(shù)量，例如GPT-3參數(shù)量達(dá)到了1,750億個，是傳統(tǒng)深度學(xué)習(xí)小模型參數(shù)量的至少一萬倍以上。通過模型的擴大，可以帶來提升包括：1）GPT-2等大模型舍棄了小模型中常見的調(diào)參過程，轉(zhuǎn)向無監(jiān)督訓(xùn)練；2）在NLP中常見小模型需要對不同的任務(wù)使用不同模型分別訓(xùn)練解決，而GPT-3等大規(guī)模預(yù)訓(xùn)練模型不再規(guī)定任務(wù)，而是對不同任務(wù)都有較好效果；3）GPT-3先使用海量數(shù)據(jù)預(yù)訓(xùn)練大模型，得到一套模型參數(shù)，然后用這套參數(shù)對模型進(jìn)行初始化，再進(jìn)行訓(xùn)練。大幅降低后續(xù)對數(shù)據(jù)量的需求。
Q：GPT-3等大模型和Transformer的關(guān)聯(lián)？GPT/Bert等大模型都在自然語言領(lǐng)域應(yīng)用。而Transformer是目前NLP領(lǐng)域效果較好的深度學(xué)習(xí)模型，因此GPT/Bert等都使用了Transformer。Transformer最大的特點是，可以讓每個單元都可以捕捉到整句的信息，這也是RNN/LSTM等更早期NLP模型無法做到的一點。
Q：Transformer對于CV機器視覺可以有類似NLP的提升嗎？實際上2017年transformer推出之后，2018年就有學(xué)者將其應(yīng)用于CV圖像領(lǐng)域，但當(dāng)時應(yīng)用效果未發(fā)現(xiàn)相比傳統(tǒng)CNN等算法有較大提升。但在2021年后，隨著swin transformer、mae等論文推出，transformer在CV和跨模態(tài)等應(yīng)用增加。因此國內(nèi)擅長CV的AI公司，在2022年前對于基于transformer的大模型關(guān)注投入較少，但是我們認(rèn)為隨著VIT等效果提升，應(yīng)用類的CV公司也會開始關(guān)注并投入大模型。
Q：國內(nèi)transformer大模型做的怎樣？如何看待中美技術(shù)差距。首先需要承認(rèn)這一類大模型底層創(chuàng)新在美國開始。中國在2021年后加速追趕。此前國內(nèi)大部分視覺類AI公司都以小模型路線為主，投入大模型研發(fā)較多的包括百度、華為等。百度推出文心大模型，基本實現(xiàn)跨模態(tài)和多下游應(yīng)用。華為推出最大中文語言預(yù)訓(xùn)練模型盤古大模型。
Q：怎樣的公司有機會參與大模型底層技術(shù)研發(fā)？我們認(rèn)為大模型對存儲、算力要求極高，且對于開發(fā)者對深度學(xué)習(xí)框架使用也有要求，普通機構(gòu)難以復(fù)現(xiàn)。
Q：上市公司中有哪些機會呢？計算機：泛AI領(lǐng)域是相關(guān)主線。穩(wěn)健標(biāo)的如AI領(lǐng)軍、科大訊飛、萬興科技、虹軟科技，彈性標(biāo)的為云從科技、漢王科技、博彥科技、商湯科技(H)?；ヂ?lián)網(wǎng)：看好國內(nèi)AIGC市場，持續(xù)跟進(jìn)AIGC的技術(shù)發(fā)展和文本、音頻、圖像等單模態(tài)的應(yīng)用落地。重點關(guān)注技術(shù)驅(qū)動的初創(chuàng)代表企業(yè)、科研院所，以及與應(yīng)用場景關(guān)聯(lián)的A股上市公司。相關(guān)標(biāo)的：中文在線、漢儀股份、視覺中國、藍(lán)色光標(biāo)。
風(fēng)險提示：大模型技術(shù)中美仍存在差異，部分技術(shù)尚處于早期實驗室階段，存在落地風(fēng)險；實體清單等可能對訓(xùn)練硬件產(chǎn)生影響
|
|
