>> 華泰證券-計算機(jī)行業(yè)GPT產(chǎn)業(yè)復(fù)盤(20-21)：走向應(yīng)用-230219
| 上傳日期： |
2023/2/19 |
大?。?/td>
| 3171KB |
| 格式： |
pdf 共21頁 |
來源： |
華泰證券 |
| 評級： |
增持 |
作者： |
謝春生 |
| 行業(yè)名稱： |
計算機(jī) |
| 下載權(quán)限： |
此報告為加密報告 |
|
|
溯源GPT發(fā)展：20-21年參數(shù)量繼續(xù)加大，應(yīng)用于代碼生成領(lǐng)域
2019年問世的GPT-2，證明了大訓(xùn)練參數(shù)量和數(shù)據(jù)集能獲得很好的訓(xùn)練結(jié)果，明確了GPT發(fā)展的大容量路線，并開始嘗試泛化能力更強(qiáng)的zero-shot學(xué)習(xí)（零次學(xué)習(xí)）。在此基礎(chǔ)上，2020年5月，OpenAI發(fā)表論文《LanguageModels are Few-Shot Learners》推出GPT-3，將模型參數(shù)量提高到1750億，達(dá)到GPT系列模型的最大規(guī)模，訓(xùn)練數(shù)據(jù)集大小超570GB。此外，GPT-3將GPT-2采用的zero-shot更換為few-shot，進(jìn)一步提高了模型的訓(xùn)練效果。2021年，基于GPT-3，OpenAI推出通用代碼生成模型Codex。競爭對手微軟和谷歌也于2020年分別提出了T-NLG和ELECTRA模型。
GPT發(fā)展之2020：模型參數(shù)提升到1750億
GPT-3模型延續(xù)了GPT-2模型“更多訓(xùn)練數(shù)據(jù)+更大的網(wǎng)絡(luò)參數(shù)可以有效地提升模型的泛化能力”的理念，其特點在于：1）與GPT2采用幾乎同樣的架構(gòu)，模型參數(shù)由GPT-2的15億增加到1750億，提升超100倍。2）與GPT-2一樣舍棄了針對不同任務(wù)進(jìn)行的微調(diào)，轉(zhuǎn)而用few-shot來實現(xiàn)下游任務(wù)，兼顧了訓(xùn)練效果與成本。3）GPT-3訓(xùn)練數(shù)據(jù)集為多種數(shù)據(jù)集的混合，包括Common Crawl以及質(zhì)量更高的WebText2、Wikipedia，大小超570GB。
GPT發(fā)展之2021：在代碼生成領(lǐng)域的應(yīng)用—Codex
Codex是在GPT-3上基于GitHub公開代碼進(jìn)行微調(diào)的代碼生成模型。OpenAI從Github上搜集了5400萬個公共軟件庫代碼，集合而成大小159GB的代碼訓(xùn)練數(shù)據(jù)集。Codex即是參數(shù)量12B的GPT-3基于該數(shù)據(jù)集微調(diào)得到的模型。在進(jìn)行模型評估時，OpenAI構(gòu)造了HumanEval數(shù)據(jù)集，包含164原創(chuàng)的、手工設(shè)計的編程問題。與類似的代碼生成模型相比，120億參數(shù)的Codex準(zhǔn)確率最高可達(dá)72.31%，性能優(yōu)異。
T-NLG追求大規(guī)模，ELECTRA注重訓(xùn)練效率
微軟T-NLG問世時是規(guī)模最大的自然語言生成模型，訓(xùn)練參數(shù)達(dá)170億，能夠完成開放式文本任務(wù)、直接生成問題答案、輸出文檔摘要等任務(wù)，并在許多NLP任務(wù)上均優(yōu)于當(dāng)時的SOTA技術(shù)。其演化版本MT-NLG參數(shù)達(dá)5300億，再次刷新NLP模型規(guī)模記錄。谷歌ELECTRA模型基于替換token檢測任務(wù)訓(xùn)練得到，更注重提高預(yù)訓(xùn)練效率而非參數(shù)規(guī)模。參數(shù)規(guī)模最小的14MELECTRA-Small訓(xùn)練結(jié)果能夠超過模型規(guī)模更大的GPT-1模型。
模型對比：GPT-2 vs T-NLG/ELECTRA
(M)T-NLG和GPT相比，最大特點在于模型參數(shù)量巨大，其中的邏輯在于微軟和合作方NVIDIA分別在軟件和硬件上更具優(yōu)勢，有利于發(fā)展大規(guī)模模型。ELECTRA與GPT-3的區(qū)別主要在架構(gòu)和訓(xùn)練策略上。1）架構(gòu)上：GPT-3采用的是Transformer的解碼器架構(gòu)，ELECTRA是Transformer編碼器架構(gòu)。2）策略上：ELECTRA堅持了小型模型的道路，通過改善預(yù)訓(xùn)練方法來提高效果，不追求大規(guī)模的訓(xùn)練參數(shù)，同樣獲得了性能優(yōu)異的模型。
風(fēng)險提示：宏觀經(jīng)濟(jì)波動，下游需求不及預(yù)期。本報告內(nèi)容均基于客觀信息整理，不構(gòu)成投資建議。
|
|
