>> 德邦證券-德邦金工文獻精譯第十二期，了解GPT：應用篇-230804
| 上傳日期： |
2023/8/5 |
大小： |
2907KB |
| 格式： |
pdf 共17頁 |
來源： |
德邦證券 |
| 評級： |
-- |
作者： |
肖承志 |
| 下載權限： |
無限制-登錄即可下載 |
|
|
投資要點：
2023年5月23日，微軟舉辦了Build 2023開發(fā)者大會。在該大會上，OpenAI創(chuàng)始人Andrej Karpthy發(fā)表了題為“State of GPT”的專題演講，向與會者介紹了GPT模型的最新動態(tài)。本文介紹了演講的第二部分內(nèi)容——大模型的應用。
應用GPT需要了解GPT的認知差異、使用“提示”引導GPT、提醒GPT回顧檢查。此外演講介紹了提高模型表現(xiàn)的方法，例如檢索增強模型、約束提示技術和模型微調(diào)。很多方法都可以幫助GPT更好地理解問題，并生成更準確合理的回答。使用GPT模型時需注意確保在提示中詳細闡述任務內(nèi)容，添加相關上下文信息，并使用提示工程技術來改善模型性能。對于數(shù)據(jù)量較小的情況，試用少樣本示例提示；對于大模型難以完成的任務，利用各種工具和插件。處理提示和答案時，關注它們的相關性和連貫性，嘗試生成多個樣本，最大化提示效果后進行參數(shù)微調(diào)。最后，優(yōu)先考慮使用強化學習和人類反饋（RLHF）以獲得更好的效果。
OpenAI于2022年11月發(fā)布ChatGPT、2023年3月發(fā)布GPT-4后，全球多個研究機構都在積極推動大型語言模型的研究，以追趕和超越OpenAI的前沿科研成果。近期，Claude2、Llama2、ChatGLM2等第二代大型語言模型相繼亮相，谷歌的Bard實現(xiàn)升級，新的開源大型語言模型也紛紛發(fā)布。這一系列的發(fā)展趨勢清晰地指示出大型語言模型的競爭日趨激烈，同時也體現(xiàn)出大型語言模型的研究正在向著更規(guī)?；统墒旎姆较虬l(fā)展。
大型語言模型的研究進步已推動了許多實用工具的發(fā)展，目前應用于辦公、代碼撰寫、金融分析的生產(chǎn)力工具的也愈發(fā)成熟。例如，GitHub Copilot用于提高代碼撰寫效率，Bloomberg GPT提高用于金融分析效率。New Bing、Microsoft 365 Copilot和WPSAI也提升了搜索和辦公工具效率。此外，ChatGPTPlugins和CodeInterpreter插件更大程度上開發(fā)了OpenAI模型的應用潛力。
風險提示：數(shù)據(jù)不完備和濫用風險，信息安全風險，算法倫理風險
|
|
