久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

ChatGPT在全球AI產(chǎn)業(yè)、技術領域帶來的良好示范效應，有望推動AI算法模型結束當前的技術路線分叉，并不斷向以GPT為主導的大語言模型（LLM）靠攏，加速全球AI產(chǎn)業(yè)“工業(yè)化”時代到來。中期維度，大語言模型領域“暴力美學”預計仍將是我們不斷逼近通用人工智能的最可能路線，基于此基準假設，模型算法架構將遵從漸進的學術研究步伐，高質量數(shù)據(jù)集、工程實踐能力、核心人才、資本將成為大模型研發(fā)領域的核心競爭壁壘。而面對當前GPT等大語言模型在問答可靠性、推理能力等層面缺陷，復雜問題分解、鏈接外部知識&工具等增強語言模型（ALM）方式料將是可行的方式，比如ChatGPT插件等。作為中期最具確定性的產(chǎn)業(yè)方向之一，我們持續(xù)看好全球AI領域的投資機會，并建議持續(xù)聚焦芯片、算力設施、模型架構&工程實踐、應用場景等核心環(huán)節(jié)。在美股市場，我們建議持續(xù)關注：英偉達、臺積電、微軟、谷歌、AMD、Arista、博通、Marvell、百度、Adobe、Snowflake等。
　　▍報告緣起：ChatGPT在全球市場的成功，以及由此引致的全球主要科技企業(yè)在AI領域的軍備競賽，正在加速全球AI產(chǎn)業(yè)的發(fā)展速度。AI算法模型作為產(chǎn)業(yè)的核心環(huán)節(jié)，其本身的技術路線，將直接決定AI產(chǎn)業(yè)鏈最終形態(tài)，以及各產(chǎn)業(yè)環(huán)節(jié)的分工協(xié)作方式、價值分配結構等，對AI算法模型技術路線的系統(tǒng)分析、前瞻性判斷，是構建AI產(chǎn)業(yè)中期投資邏輯的核心基礎。在本篇專題中，我們主要回答：AI算法模型是否會朝GPT方向進行收斂，算法模型核心競爭壁壘、算力是否會成為AI產(chǎn)業(yè)潛在約束因素，以及如何引入新的知識&工具，以克服當前大語言模型的潛在缺陷等。
　　▍技術路線：大語言模型（LLM）有望實現(xiàn)主導，并不斷向GPT方案靠攏。在過去近10年里，人工智能模型經(jīng)歷了從小模型到以Transformer為代表的大模型的轉變，我們根據(jù)行業(yè)發(fā)展的歷史總結為以下四個階段。1）2017年前，以深度學習為核心的小模型占據(jù)主流：這類模型以LSTM及CNN模型作為典型的特征抽取器，根據(jù)特定領域標注數(shù)據(jù)訓練，在一些任務上可以達到接近人類的水準。但是硬件算力不夠導致針對其他領域重新訓練成本過高，讓其通用型任務的完成情況很差。2）2017年到2020年，以谷歌Bert為代表的雙向預訓練+FineTuning（微調(diào)）的Transformer模型橫空出世成為了人工智能的主流方向。谷歌研究團隊發(fā)布的《Attention is all you need》論文開創(chuàng)了Transformer模型，重新統(tǒng)一了自然語言模型(NLP)的研究范式。這類模型以預訓練的方式學習語言學特征，大幅簡化了過去NLP繁瑣的研究種類。Transformer作為特征提取器效果好于CNN、LSTM模型等，讓AI首次能在語言任務的部分場景中追平人類。3）2020年到2022年，產(chǎn)業(yè)界與學術界繼續(xù)沿著Transformer的道路前景，但開始嘗試不同于Bert的其他Transformer架構，通過預訓練無監(jiān)督學習的方法不斷增加模型大小成為了這一時段的主流。以1750億參數(shù)的GPT-3為代表，各大互聯(lián)網(wǎng)巨頭不斷嘗試增加模型體積以獲得更好的效果。GPT-3為代表的自回歸+Prompting的方法開始展現(xiàn)產(chǎn)品化能力的優(yōu)越性，與Fine-tuning方法的Bert模型成為兩條道路。4）2022年至今，ChatGPT的成功證明了GPT模型的Prompting道路的正確性，同時也強調(diào)了數(shù)據(jù)質量的重要性。ChatGPT最重要的成功是在產(chǎn)品化上更進一步：ChatGPT在模型精度上并沒有飛躍性的突破，但從Few Shot prompt（需要輸入范例示范）轉換到Instruct（用人類語言描述想做什么）更加貼合用戶的習慣。
　　▍競爭壁壘：數(shù)據(jù)、工程實踐、人才、資本等?；仡欉^去近十年人工智能模型的發(fā)展，我們發(fā)現(xiàn)進入人工智能模型研發(fā)的門檻越來越高。從Bert開始到GPT-3再到谷歌的PALM，網(wǎng)絡中的公開語言數(shù)據(jù)源已經(jīng)在被盡可能地利用（論壇、新聞、維基百科等等），而模型的進一步優(yōu)化對數(shù)據(jù)質量的要求也越來越高。我們認為優(yōu)質的私有數(shù)據(jù)源將在未來3-5年里人工智能模型的精度優(yōu)化上發(fā)揮更重要的作用。爬蟲難以爬取的社交媒體數(shù)據(jù)、保存在后臺的用戶偏好數(shù)據(jù)、代碼托管數(shù)據(jù)等仍具有開發(fā)空間，這也將成為數(shù)據(jù)獲取端的優(yōu)勢，而結合這些私有數(shù)據(jù)生成的合成數(shù)據(jù)將進一步放大這些公司數(shù)據(jù)端的優(yōu)勢。此外隨著模型體量仍然在成倍數(shù)增加，大量的前期資本投入是阻礙新入者的重要因素。在過去五年內(nèi)，我們看到人工智能模型的獨角獸都在尋找互聯(lián)網(wǎng)科技大廠作為其背后的依靠，主要因為：1）能夠得到充足而短時間內(nèi)不求產(chǎn)出的資金支持，2）依靠互聯(lián)網(wǎng)大廠的公有云等相關資源進一步降低成本，3)獲取互聯(lián)網(wǎng)大廠長期以來所積累的優(yōu)質數(shù)據(jù)源。這也是我們看到為什么在過去五年內(nèi)人工智能頭部廠商逐漸從開源走向閉源，利用其資源優(yōu)勢來打造差異化的AI模型，而落后者更希望通過開源的模式以求縮小與頭部廠商的距離。研發(fā)團隊的工程能力是決定公司在大語言模型競爭力的另一個重要因素。隨著語言模型的體積不斷增加，在研究方法上現(xiàn)今千億量級的模型與之前幾十億量級的小模型發(fā)生了本質變化，個體工程師沒有能力通過自有資源積累對大模型的學習經(jīng)驗。一個合格