>> 國盛證券-計算機行業(yè)周報-ChatGPT技術篇:智能背后的秘密-230226
| 上傳日期: |
2023/2/26 |
大?。?/td>
| 1228KB |
| 格式: |
pdf 共10頁 |
來源: |
國盛證券 |
| 評級: |
增持 |
作者: |
劉高暢 |
| 行業(yè)名稱: |
計算機 |
| 下載權限: |
無限制-登錄即可下載 |
|
|
ChatGPT表現(xiàn)驚艷,網(wǎng)站流量一路狂飆式成長。根據(jù)數(shù)據(jù)統(tǒng)計機構Similarweb的估計,chat.openai.com網(wǎng)站(即ChatGPT官網(wǎng))在2023/1/27-2023/2/3這一周吸引的每日訪客數(shù)量高達約2500萬,在1月31日的流量高峰日,該網(wǎng)站吸引了2800萬次訪問。并且在1/3-2/3這一個月里,該網(wǎng)站的流量平均每天增長3.4%,增速驚人。 從Transformer到ChatGPT,有哪些歷史性突破?ChatGPT用戶數(shù)高速增長的根本原因,來源于其突破性的表現(xiàn),其中最突出的有兩點體現(xiàn):1)ChatGPT與人類“對齊”了偏好,其應答更適應人類習慣,并且能駁回一些反道德的提問,展現(xiàn)出顯著優(yōu)于前代的智能度。2)ChatGPT具備了思維鏈(Chain-of-Thought,CoT)能力,能夠處理一定程度的復雜思維邏輯。3)ChatGPT在算數(shù)、國際音標轉寫、單詞解讀、問答、事實性問答、基礎概念映射、多任務自然語義理解、上下文單詞理解等8個指標上表現(xiàn)出全面綜合的能力。 量變到質變,規(guī)模超過特定閾值后模型性能陡增。根據(jù)谷歌發(fā)布的論文《Emergent Abilities of Large Language Models》,可以看到多個NLP任務隨著模型規(guī)模擴大的性能變化曲線:前期性能和模型規(guī)模大致呈線性關系;然而當模型規(guī)模大到一定程度時,任務性能有了明顯的“飛升”。 海量代碼訓練,模型習得代碼背后隱含的邏輯能力。根據(jù)熵簡科技介紹,“代碼”可以理解為一種具備高度邏輯性的文本語料,不具備強邏輯性的代碼會無法執(zhí)行,而不像普通文本語料那樣有著較高的邏輯自由度。模型從對大量代碼的學習過程中,逐漸掌握了隱藏在代碼背后的抽象能力與邏輯能力,進而涌現(xiàn)出我們在ChatGPT上感受到的“智能”。 訓練過程加入了人類反饋,模型偏好向人類看齊。通過有人類反饋的加強學習(RLHF)訓練,人類手動對AI給出的回復進行排名,讓AI模型理解人類偏好。由于訓練過程中加入了人類反饋,有別于前代GPT-3單純使用海量數(shù)據(jù)的訓練方法,ChatGPT能夠更好地理解用戶指令,并作出反應。 投資建議。建議關注:1)應用型公司:金山辦公、光云科技、當虹科技、同花順、萬興科技、立方數(shù)科、云賽智聯(lián)、神思電子、宇信科技、360、高偉達、寺庫、知乎、漢王科技等;2)算力公司:浪潮信息、中科曙光、海光信息、寒武紀、景嘉微、世紀華通、光通信產(chǎn)業(yè)鏈公司;3)相關技術公司:科大訊飛、云從科技、拓爾思、海天瑞聲、??低?、螢石網(wǎng)絡、百度、阿里、騰訊;4)軟件開發(fā)效率提升:賽意信息、潤和軟件、法本信息、游戲公司等;5)機器人:三花智控、鳴志電器、綠的諧波、晶品特裝、微創(chuàng)機器人等。 風險提示:AI技術迭代不及預期風險;經(jīng)濟下行超預期風險;行業(yè)競爭加劇風險。
|
|