久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

ChatGPT引發(fā)范式革命，AI產(chǎn)業(yè)發(fā)展前景可期
　　近期由OpenAI團(tuán)隊(duì)發(fā)布的聊天機(jī)器人軟件ChatGPT，憑借類人的語言理解和表達(dá)能力，引發(fā)AI產(chǎn)業(yè)范式革命。通過拆解ChatGPT，我們發(fā)現(xiàn)：1）單一大模型或?yàn)槲磥鞟I訓(xùn)練主流方向；2）大模型訓(xùn)練可以積累底層語言能力，但需要大算力支持；3）預(yù)訓(xùn)練語言模型和Transformer架構(gòu)是模型底層能力的根源；4）ChatGPT商業(yè)化應(yīng)用前景廣闊。基于此，我們認(rèn)為國產(chǎn)廠商或?qū)⒂?xùn)練出自己的GPT模型，AI產(chǎn)業(yè)有望迎來景氣周期。目前國內(nèi)在模型層面具備產(chǎn)業(yè)基礎(chǔ)的相關(guān)企業(yè)包括：百度、商湯、云從科技等；在應(yīng)用層持續(xù)推出新應(yīng)用的相關(guān)企業(yè)包括：科大訊飛、金山辦公、同花順、漢王科技等；在底層基礎(chǔ)設(shè)施和工具有布局的相關(guān)企業(yè)包括：寒武紀(jì)、景嘉微等。
　　背景：發(fā)源于OpenAI，成名于生成式語言
　　OpenAI于2015年在舊金山成立，主要從事人工智能研究。2019年OpenAI收到微軟注資10億美元，就Azure業(yè)務(wù)開發(fā)人工智能技術(shù)。2020年發(fā)布GPT-3語言模型，由微軟獲得獨(dú)家授權(quán)。2022年，OpenAI在GPT-3.5的基礎(chǔ)上推出了ChatGPT，強(qiáng)化了人工智能的語言對(duì)話能力，引起社會(huì)廣泛關(guān)注。2023年，微軟擬對(duì)OpenAI追加數(shù)十億美元投資，利用自身算力基礎(chǔ)設(shè)施資源發(fā)揮與OpenAI業(yè)務(wù)協(xié)同效應(yīng)，深入布局生成式AI技術(shù)。
　　原理：AI大模型里程碑式的勝利
　　ChatGPT采用監(jiān)督學(xué)習(xí)+獎(jiǎng)勵(lì)模型進(jìn)行語言模型訓(xùn)練，主要包括三個(gè)步驟：1）第一階段：訓(xùn)練監(jiān)督策略模型。在ChatGPT模型的訓(xùn)練過程中，需要標(biāo)記者的參與監(jiān)督過程；2）第二階段：訓(xùn)練獎(jiǎng)勵(lì)模型。借助標(biāo)記者的人工標(biāo)注，訓(xùn)練出合意的獎(jiǎng)勵(lì)模型，為監(jiān)督策略建立評(píng)價(jià)標(biāo)準(zhǔn)；3）第三階段：采用近端策略優(yōu)化進(jìn)行強(qiáng)化學(xué)習(xí)。通過監(jiān)督學(xué)習(xí)策略生成PPO模型，將最優(yōu)結(jié)果用于優(yōu)化和迭代原有的PPO模型參數(shù)。我們認(rèn)為，ChatGPT的訓(xùn)練過程采用單一模型+小樣本學(xué)習(xí)+人類微調(diào)監(jiān)督方式進(jìn)行，取得了良好效果，驗(yàn)證了AI大模型應(yīng)用前景，大模型路線有望成為未來主流。
　　模型：三個(gè)維度拆解GPT模型特征
　　我們認(rèn)為，ChatGPT的成功離不開AI大模型的加持，強(qiáng)大的算法訓(xùn)練模型，使得ChatGPT在迭代中獲得實(shí)現(xiàn)接近自然語言的表達(dá)能力。拆解模型來看：1）ChatGPT使用單一大模型，積累強(qiáng)大底層通用能力，背后來自微軟豐富的算力資源支持，并通過引入監(jiān)督學(xué)習(xí)，有效填補(bǔ)了大模型同質(zhì)化漏洞；2）模型的具體訓(xùn)練模式，采用的是預(yù)訓(xùn)練語言模型，而預(yù)訓(xùn)練語言模型無需人工標(biāo)簽，具備高效性、通用性與正則化等內(nèi)生優(yōu)勢，且二代模型具備上下文交互能力，推動(dòng)模型語義理解能力升級(jí)；3）Transformer是大模型高效運(yùn)行的根基，天然適合高并發(fā)訓(xùn)練，通過編碼器堆疊實(shí)現(xiàn)底層架構(gòu)搭建。
　　應(yīng)用：打開AIGC應(yīng)用新局面
　　ChatGPT屬于AIGC的具體應(yīng)用，相比過去的AI產(chǎn)品，在模型類型、應(yīng)用領(lǐng)域、商業(yè)化等層面呈現(xiàn)出新的特點(diǎn)。1）技術(shù)方面：ChatGPT屬于自然語言處理領(lǐng)域，與早期的自然語言技術(shù)相比，ChatGPT采用大模型進(jìn)行訓(xùn)練，并加入人工反饋增強(qiáng)學(xué)習(xí)(RLHF)方法，實(shí)現(xiàn)了效果提升；2）應(yīng)用方面：ChatGPT屬于生成式AI，相比于分析型AI，不局限于已有的內(nèi)容，已在文藝創(chuàng)作，代碼處理，營銷等多個(gè)創(chuàng)造性場景內(nèi)得到應(yīng)用；3）商業(yè)化方面：ChatGPT在商業(yè)化方面彰顯出強(qiáng)于以往AI應(yīng)用的潛力，一方面用戶數(shù)快速增長，另一方面得到了微軟為代表的科技巨頭的支持，應(yīng)用有望快速推廣。
　　風(fēng)險(xiǎn)提示：宏觀經(jīng)濟(jì)波動(dòng)；下游需求不及預(yù)期