>> 德邦證券-金工文獻精譯第八期：訓(xùn)練語言模型以遵循帶有人類反饋的指令-230316
| 上傳日期： |
2023/3/16 |
大?。?/td>
| 2472KB |
| 格式： |
pdf 共30頁 |
來源： |
德邦證券 |
| 評級： |
-- |
作者： |
肖承志 |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
這篇報告介紹了ChatGPT語言模型使用的技術(shù)。論文標(biāo)題是《Training languagemodels to follow instructions with human feedback》，于2022年3月4日預(yù)發(fā)布于ArXiv，論文介紹了OpenAI的InstructGPT模型。ChatGPT模型并未公開發(fā)表具體實現(xiàn)方式，但ChatGPT模型是基于InstructGPT模型進化而來的版本，它們同屬于OpenAI的GPT3.5系列模型。
構(gòu)建InstructGPT模型需要一個預(yù)訓(xùn)練模型、一個“提示”集合以及若干標(biāo)注員：1） InstructGPT模型是基于OpenAI先前發(fā)布的GPT-3系列模型基礎(chǔ)上一系列微調(diào)改進的模型；2）“提示”集合是部分用戶請求OpenAIAPI生成的以及標(biāo)注員生成的數(shù)據(jù)集合，這部分數(shù)據(jù)使得模型更好的讀懂用戶的意圖；3）40個數(shù)據(jù)標(biāo)注員對該論文模型的輸出進行人類反饋，得到了強化學(xué)習(xí)訓(xùn)練所需要的獎勵模型。
訓(xùn)練InstructGPT模型的步驟如下：1）收集演示數(shù)據(jù)，訓(xùn)練監(jiān)督策略。使用標(biāo)注員團隊提供的演示數(shù)據(jù)、使用監(jiān)督學(xué)習(xí)方法對預(yù)訓(xùn)練GPT-3模型進行微調(diào)；2）收集比較數(shù)據(jù)，訓(xùn)練獎勵模型。給定“提示”，讓模型產(chǎn)生多個輸出，標(biāo)注人員對其好壞進行排序，訓(xùn)練一個獎勵模型來預(yù)測人類的偏好；3）使用PPO算法根據(jù)獎勵模型優(yōu)化策略。用獎勵模型的輸出作為標(biāo)量獎勵，使用強化學(xué)習(xí)PPO算法來進一步微調(diào)第一步的監(jiān)督模型。第二步和第三步可以連續(xù)迭代：更新后的策略可以訓(xùn)練出新的獎勵模型，轉(zhuǎn)而又優(yōu)化新的策略。
InstructGPT（最小13億參數(shù)量）的效果顯著優(yōu)于GPT-3（1750億參數(shù)量）。論文結(jié)果表明，使用人類反饋進行微調(diào)是使語言模型符合人類意圖的一個有前途的方向。InstructGPT模型的泛化能力、真實性、降低不良信息輸出方面均有提高。
此外，存在一定局限性：1）雇傭的標(biāo)注員只能代表用戶群體的一小部分，存在偏置；2）模型容易被誤用，產(chǎn)生令人信服的錯誤信息、仇恨或辱罵內(nèi)容等。這樣的大型語言模型的部署應(yīng)該非常小心。
有許多開放性問題需要進一步探索。如在減少模型有偏見或其他有害輸出的傾向方面，可用過濾預(yù)訓(xùn)練數(shù)據(jù)等方法；在模型可控性方面，可以將基于人類反饋的強化學(xué)習(xí)方法與其他可控性方法相結(jié)合。此外，對于大型語言模型，如何更好的綜合各群體的價值觀、達成廣泛共識將是未來最需要解決的問題。
風(fēng)險提示：數(shù)據(jù)不完備和濫用風(fēng)險，信息安全風(fēng)險，算法倫理風(fēng)險
|
|
