>> 華泰證券-計算機行業(yè)專題研究-GPT系列：經(jīng)典深度學(xué)習(xí)算法拆解-230312
| 上傳日期： |
2023/3/12 |
大?。?/td>
| 2367KB |
| 格式： |
pdf 共22頁 |
來源： |
華泰證券 |
| 評級： |
增持 |
作者： |
謝春生 |
| 行業(yè)名稱： |
計算機 |
| 下載權(quán)限： |
此報告為加密報告 |
|
|
深度學(xué)習(xí)是基于神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)
深度學(xué)習(xí)可以概括為特征的抽象和結(jié)果的預(yù)測。深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)密不可分，主要原因是神經(jīng)網(wǎng)絡(luò)模型可以使用誤差反向傳播算法，較好地解決了深度學(xué)習(xí)中的貢獻度分配問題。從歷史發(fā)展看，神經(jīng)網(wǎng)絡(luò)誕生于1943年提出的MP模型，深度學(xué)習(xí)概念由Hinton于2006年正式提出。經(jīng)過多年的發(fā)展，問世了如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長短時記憶網(wǎng)絡(luò)（LSTM）、生成對抗網(wǎng)絡(luò)（GAN）等經(jīng)典的深度學(xué)習(xí)算法。2017年，Transformer架構(gòu)的出現(xiàn)，再次開啟了大語言模型快速發(fā)展時期。本報告聚焦2017年之前出現(xiàn)的經(jīng)典深度學(xué)習(xí)算法，并進行深度拆解和剖析。
卷積神經(jīng)網(wǎng)絡(luò)（CNN）：卷積+匯聚+全連接
典型的卷積神經(jīng)網(wǎng)絡(luò)是由卷積層、匯聚層、全連接層交叉堆疊而成。其中，卷積層利用卷積核實現(xiàn)特征提取，并在每個卷積層后引入非線性激活函數(shù)，確保整個網(wǎng)絡(luò)的非線性；匯聚層通過最大匯聚或平均匯聚的方法，進一步壓縮數(shù)據(jù)和參數(shù)量；全連接層采用神經(jīng)網(wǎng)絡(luò)中的前饋網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)計算后得到最終輸出結(jié)果。參數(shù)訓(xùn)練方面，卷積神經(jīng)網(wǎng)絡(luò)采用誤差反向傳播算法。應(yīng)用方面，卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用已從圖像識別逐漸向其他領(lǐng)域拓展。
循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）：具有短期記憶的神經(jīng)網(wǎng)絡(luò)
循環(huán)神經(jīng)網(wǎng)絡(luò)是一類具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)，其記憶來自于神經(jīng)元以環(huán)路的方式接受自身的歷史信息，為整個網(wǎng)絡(luò)提供了一定的記憶能力，增強了其計算性能。但是，循環(huán)神經(jīng)網(wǎng)絡(luò)難以建模長時間間隔狀態(tài)之間的依賴關(guān)系。為了解決這一問題，長短時記憶網(wǎng)絡(luò)（LSTM）在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了新的內(nèi)部控制狀態(tài)和門控機制。前者能夠記錄到當(dāng)前時刻為止的歷史信息，延長了網(wǎng)絡(luò)記憶；后者包括遺忘門、輸入門和輸出門，分別控制“記憶”的遺忘、保存和輸出細(xì)節(jié)。
生成對抗網(wǎng)絡(luò)（GAN）：生成器和判別器的對抗與學(xué)習(xí)
生成對抗網(wǎng)絡(luò)突破了以往的概率模型必須通過最大似然估計來學(xué)習(xí)參數(shù)的限制，通過對抗訓(xùn)練的方式使得生成網(wǎng)絡(luò)產(chǎn)生的樣本服從真實數(shù)據(jù)分布。GAN主要由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成。其中，判別網(wǎng)絡(luò)目標(biāo)是盡量準(zhǔn)確地判斷一個樣本是來自于真實數(shù)據(jù)還是由生成網(wǎng)絡(luò)產(chǎn)生；生成網(wǎng)絡(luò)目標(biāo)是盡量生成判別網(wǎng)絡(luò)無法區(qū)分來源的樣本。這兩個目標(biāo)相反的網(wǎng)絡(luò)不斷地進行交替對抗訓(xùn)練。最終訓(xùn)練出生成結(jié)果真假難辨的生成器。
深度強化學(xué)習(xí)（DRL）：深度學(xué)習(xí)與強化學(xué)習(xí)的結(jié)合
強化學(xué)習(xí)（RL）指的是從（與環(huán)境）交互中不斷學(xué)習(xí)的問題以及解決這類問題的方法。強化學(xué)習(xí)通過智能體不斷與環(huán)境進行交互，并根據(jù)經(jīng)驗調(diào)整其策略來最大化其長遠(yuǎn)的所有獎勵的累積值。強化學(xué)習(xí)可分為基于值函數(shù)的方法、基于策略函數(shù)的方法，以及兩者的結(jié)合。深度強化學(xué)習(xí)是深度學(xué)習(xí)與強化學(xué)習(xí)的結(jié)合，其中強化學(xué)習(xí)用來定義問題和優(yōu)化目標(biāo)，深度學(xué)習(xí)用來解決策略和值函數(shù)的建模問題。最早的深度強化學(xué)習(xí)模型是2013年提出的深度Q網(wǎng)絡(luò)。
風(fēng)險提示：宏觀經(jīng)濟波動，技術(shù)進步不及預(yù)期。本報告內(nèi)容均基于客觀信息整理，不構(gòu)成投資建議。
|
|
