久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

大模型理論最早在2017年由谷歌的《Attention is All You Need》論文提出
　　大模型是深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的最新技術(shù)，是繼RNN、CNN等傳統(tǒng)深度學(xué)習(xí)模型變體之后，在深度學(xué)習(xí)方向上打開(kāi)的一個(gè)新世界的大門。大模型理論一經(jīng)推出，即受到了廣泛的關(guān)注。OpenAI受其啟發(fā)在2018年6月發(fā)布了初代GPT大模型，谷歌緊接其后在2018年10月發(fā)布了BERT大模型。時(shí)至今日，基于通用大模型進(jìn)行調(diào)參已成為自然語(yǔ)言處理任務(wù)的首選范式。大模型的三大特征：生成式、預(yù)訓(xùn)練和多模態(tài)幫助其取代了絕大部分傳統(tǒng)的自然語(yǔ)言處理的深度學(xué)習(xí)模型，已廣泛用于文本生成、機(jī)器翻譯、文本推理、關(guān)鍵詞總結(jié)等各類場(chǎng)景。OpenAI最新發(fā)布的GPT-4大模型甚至可以完成復(fù)雜的圖像處理，通過(guò)美國(guó)律師從業(yè)資格考試、高等教育入學(xué)考試。其他科技巨頭也陸續(xù)宣布要開(kāi)發(fā)自己的通用大模型和行業(yè)大模型，實(shí)現(xiàn)商業(yè)化落地。大模型有望在未來(lái)開(kāi)辟?gòu)?qiáng)人工智能的新篇章。
　　大模型的出現(xiàn)解決了一系列痛點(diǎn)
　　在2017年大模型誕生的前夕，深度學(xué)習(xí)的Encoder/Decoder算法雖然早已提出，但在NLP領(lǐng)域還只被用于機(jī)器翻譯領(lǐng)域；Attention機(jī)制剛剛出現(xiàn)，尚未得到重視；與此同時(shí)，較為成熟的RNN、CNN模型遇到了一系列的技術(shù)瓶頸，始終無(wú)法解決處理文本長(zhǎng)度受限、模型無(wú)法泛化、無(wú)法用于文本生成等問(wèn)題。這一時(shí)點(diǎn)出現(xiàn)的大模型將Encoder/Decoder與Attention機(jī)制相結(jié)合，通過(guò)無(wú)監(jiān)督學(xué)習(xí)+調(diào)參的方式，突破了傳統(tǒng)深度學(xué)習(xí)的技術(shù)瓶頸。
　　初代GPT和BERT特點(diǎn)
　　初代GPT由于使用了12層Decoder架構(gòu)，配合上Masked Multi-Head Attention，只能根據(jù)前文單向預(yù)測(cè)下一個(gè)單詞，因此訓(xùn)練速度不如BERT，但更擅長(zhǎng)文本生成與邏輯推理。BERT由于使用了24層Encoder結(jié)構(gòu)，配合上Multi-Head Attention，訓(xùn)練時(shí)隨機(jī)遮擋一段文本中15%的單詞做完形填空，因此訓(xùn)練速度更快，訓(xùn)練可以雙向并行。訓(xùn)練模式導(dǎo)致BERT更擅長(zhǎng)文本總結(jié)，問(wèn)答對(duì)話等任務(wù)。
　　BERT模型的架構(gòu)和訓(xùn)練模式導(dǎo)致其上限不高
　　簡(jiǎn)單而言，BERT只采用了Encoder結(jié)構(gòu)，而Encoder適用于完形填空的訓(xùn)練模式，所以BERT訓(xùn)練完成之后更適合關(guān)鍵詞提取、文本總結(jié)等任務(wù)，而此類任務(wù)本身較為簡(jiǎn)單；另一方面，GPT采用了Decoder架構(gòu)，更適合搭配下一個(gè)詞預(yù)測(cè)作為訓(xùn)練任務(wù)，所以訓(xùn)練出的GPT模型更適合推理和文本生成等任務(wù)，而這類任務(wù)的難度較高，OpenAI直到迭代到ChatGPT才較好實(shí)現(xiàn)了這一功能。
　　風(fēng)險(xiǎn)提示
　　1、人工智能技術(shù)發(fā)展不及預(yù)期；
　　2、人工智能商業(yè)化應(yīng)用落地不及預(yù)期。