久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

溯源GPT發(fā)展：2022年ChatGPT面世，LLM里程碑式勝利
　　梳理GPT系列模型的演進(jìn)過程，可以看到2022年是GPT系列模型圍繞GPT-3、GPT-3.5加速版本迭代的重要節(jié)點(diǎn)，2022年11月，ChatGPT成功面世，成為歷史上用戶增長最快的消費(fèi)者應(yīng)用。與Google、FaceBook等公司不同，OpenAI從初代模型GPT-1開始，始終貫徹只有解碼器（Decoder-only）的技術(shù)路徑，2018-2022年GPT系列模型幾乎按照每年一代的速度，不斷迭代升級(jí)。我們認(rèn)為，2022年ChatGPT的成功，是OpenAI公司GPT系列模型的階段性勝利，也是大語言模型LLM的里程碑式勝利，后續(xù)圍繞LLM的技術(shù)升級(jí)、應(yīng)用拓展有望加速開啟，AI產(chǎn)業(yè)發(fā)展或?qū)⑻崴佟?br>　　ChatGPT：引入人類反饋，模型訓(xùn)練SFT、RM、PPO三步走
　　ChatGPT、InstructGPT分別是基于GPT-3.5、GPT-3微調(diào)得到的新版本模型，其核心目標(biāo)是實(shí)現(xiàn)模型輸出與人類預(yù)期的需求對(duì)齊（alignment），人類反饋強(qiáng)化學(xué)習(xí)RLHF成為模型需求對(duì)齊的重要技術(shù)支持。ChatGPT、InstructGPT的模型訓(xùn)練主要包括三步：1）有監(jiān)督微調(diào)SFT：通過指示學(xué)習(xí)對(duì)模型進(jìn)行有監(jiān)督微調(diào)；2）獎(jiǎng)勵(lì)模型RM訓(xùn)練：借助人工標(biāo)注員對(duì)模型輸出進(jìn)行排序，反饋訓(xùn)練得到獎(jiǎng)勵(lì)模型，此步是人類反饋的重要體現(xiàn)；3）近段策略優(yōu)化PPO強(qiáng)化學(xué)習(xí)：通過監(jiān)督學(xué)習(xí)策略生成PPO模型，優(yōu)化、迭代原有模型參數(shù)?？偨Y(jié)來看，RLHF讓模型輸出更加符合用戶預(yù)期。
　　ChatGPTVSInstructGPT：核心是基礎(chǔ)大模型的不同
　　對(duì)比ChatGPT與InstructGPT的訓(xùn)練方法，可以發(fā)現(xiàn)，兩者的訓(xùn)練方法基本一致，核心區(qū)別在于InstructGPT、ChatGPT分別基于GPT-3、GPT-3.5進(jìn)行模型微調(diào)。與GPT-3相比，GPT-3.5增加了代碼訓(xùn)練與指示微調(diào)：1）代碼訓(xùn)練（Code-training）：讓GPT-3.5模型具備更好的代碼生成與代碼理解能力，同時(shí)間接擁有了復(fù)雜推理能力；2）指示微調(diào)（Instruction-tuning）：讓GPT-3.5模型具備更好的泛化能力，同時(shí)模型的生成結(jié)果更加符合人類的預(yù)期。作為基于GPT-3.5的模型微調(diào)產(chǎn)物，ChatGPT具備更好的問答能力，更加遵循人類的價(jià)值觀。
　　OpenAIVSGoogle：OpenAI貫徹Decoder-only路徑，技術(shù)集大成者
　　通過梳理Google與OpenAI在LLM領(lǐng)域的布局，可以看到，OpenAI具備兩大突出特點(diǎn)：1）貫徹Decoder-only技術(shù)路線：從GPT-1到ChatGPT，OpenAI的LLM均采用Decoder-only架構(gòu)，單一架構(gòu)的持續(xù)深耕與模型參數(shù)的不斷擴(kuò)大，讓OpenAI的GPT系列模型具備強(qiáng)大的學(xué)習(xí)能力與文本生成能力；2）技術(shù)集大成者：ChatGPT的發(fā)展不僅得益于GPT模型參數(shù)、訓(xùn)練數(shù)據(jù)的持續(xù)優(yōu)化，也得益于各類LLM新技術(shù)的融會(huì)貫通，OpenAI博采眾長，加速Instruction-tuning、RLHF、思維鏈等新技術(shù)在GPT系列模型中的深度應(yīng)用，ChatGPT是現(xiàn)有技術(shù)的集大成者。
　　風(fēng)險(xiǎn)提示：宏觀經(jīng)濟(jì)波動(dòng)；下游需求不及預(yù)期；本報(bào)告內(nèi)容均基于客觀信息整理，不構(gòu)成投資建議。