久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

ChatGPT：三個(gè)階段打造智能對話交互式AI模型
　　ChatGPT從誕生到現(xiàn)在，經(jīng)歷了三個(gè)大版本階段演進(jìn)。2018年，生成式預(yù)訓(xùn)練模型GPT-1誕生，引入有監(jiān)督的微調(diào)訓(xùn)練。2019年，GPT-2以增加模型通用性為目標(biāo)，移除GPT-1的微調(diào)，以更大的參數(shù)量和多任務(wù)訓(xùn)練，進(jìn)行zero-shot學(xué)習(xí)；2020年，GPT-3用few-shot代替zero-shot，并將訓(xùn)練參數(shù)增加到1750億，再次提高模型表現(xiàn)性能。2022年，InstructGPT引入基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），在GPT-3基礎(chǔ)上進(jìn)行獎勵訓(xùn)練，以13億訓(xùn)練參數(shù)實(shí)現(xiàn)了更好的模型性能。2022年11月，基于InstructGPT，OpenAI正式推出對話交互式模型ChatGPT，5天時(shí)間突破了100萬用戶。
　　GPT-1階段：開啟生成式預(yù)訓(xùn)練模型時(shí)代
　　GPT-1基于Transformer架構(gòu)，僅保留了架構(gòu)中的解碼器（Decoder）部分。GPT-1的訓(xùn)練過程包括預(yù)訓(xùn)練和微調(diào)兩個(gè)階段。1）階段一：預(yù)訓(xùn)練采用內(nèi)含長段連續(xù)文本的BooksCorpus數(shù)據(jù)集，進(jìn)行高容量無監(jiān)督學(xué)習(xí)。2）階段二：在做下游任務(wù)時(shí)，首先根據(jù)任務(wù)類型將其轉(zhuǎn)換為不同的輸入形式，再針對不用類型任務(wù)用特定訓(xùn)練集進(jìn)行微調(diào)訓(xùn)練。GPT-1的參數(shù)量為1.17億GPT-1在常識推理、問題回答、文本蘊(yùn)涵等任務(wù)上分別比對比方法進(jìn)步了8.9%、5.7%和1.5%。
　　GPT-2階段：無監(jiān)督訓(xùn)練替代有監(jiān)督訓(xùn)練
　　GPT-2通過海量數(shù)據(jù)和龐大的模型參數(shù)訓(xùn)練出更為通用的模型，無需經(jīng)過特定的數(shù)據(jù)集訓(xùn)練也能解決各類問題，即zero-shot learning（零次學(xué)習(xí)），從而提高模型的泛化能力。GPT-2在架構(gòu)上與GPT-1基本保持相同，預(yù)訓(xùn)練階段與GPT-1方法一致，采用了更大的數(shù)據(jù)集WebText。處理下游任務(wù)時(shí)，以無監(jiān)督的訓(xùn)練方式進(jìn)行zero-shot學(xué)習(xí)，通過增加prompt文本提示的方式提示模型具體任務(wù)類型。GPT-2的參數(shù)量增加到15億。GPT-2在命名實(shí)體識別、閱讀理解等任務(wù)上表現(xiàn)優(yōu)異，在部分任務(wù)上不及預(yù)期。
　　GPT-3階段：性能不斷突破，開啟商業(yè)探索
　　GPT-3在GPT-2架構(gòu)基礎(chǔ)上，舍棄極端的zero-shot，采用few-shot理念，對于特定任務(wù)給予少量（10-100個(gè)）樣例。GPT-3最大訓(xùn)練參數(shù)量為1750億，訓(xùn)練結(jié)果準(zhǔn)確度隨著few-shot樣例的增加有明顯提高?；贕PT-3，OpenAI發(fā)布了Codex和InstructGPT。Codex是通用代碼生成模型，能夠?qū)⒆匀徽Z言轉(zhuǎn)換為代碼，支持十幾種編程語言。InstructGPT在GPT-3基礎(chǔ)上通過RLHF訓(xùn)練獎勵模型來進(jìn)一步優(yōu)化訓(xùn)練結(jié)果，僅用13億參數(shù)量即可實(shí)現(xiàn)更符合人類需求的輸出。此外，2020年6月，OpenAI開始對外提供接入GPT-3服務(wù)的API，并按照模型類型進(jìn)行收費(fèi)，開啟商業(yè)探索第一步。
　　ChatGPT階段：各大互聯(lián)網(wǎng)廠商爭相推出類似產(chǎn)品
　　2022年11月，基于InstructGPT，OpenAI發(fā)布了以對話方式交互的ChatGPT。ChatGPT訓(xùn)練方法與InstructionGPT基本相同，區(qū)別僅在于在微調(diào)時(shí)基于InstructGPT而非GPT-3。隨著ChatGPT用戶的增多，OpenAI推出了按月訂閱的ChatGPTPlus服務(wù)，開啟第二次商業(yè)嘗試。國內(nèi)外互聯(lián)網(wǎng)廠商紛紛跟進(jìn)，微軟發(fā)布基于ChatGPT的新版Bing，谷歌發(fā)布Bard對標(biāo)ChatGPT；百度宣布推出類ChatGPT應(yīng)用“文心一言”，京東推出智能人機(jī)對話平臺ChatJD，阿里宣布公司正在研發(fā)“阿里版”ChatGPT，網(wǎng)易有道和360也表示推出類ChatGPT應(yīng)用。
　　風(fēng)險(xiǎn)提示：宏觀經(jīng)濟(jì)波動，下游需求不及預(yù)期。本報(bào)告內(nèi)容均基于客觀信息整理，不構(gòu)成投資建議。