>> 華泰證券-金工深度研究-NLP綜述：勾勒AI語義理解的軌跡-221027
| 上傳日期： |
2022/10/28 |
大小： |
3138KB |
| 格式： |
pdf 共54頁 |
來源： |
華泰證券 |
| 評級： |
-- |
作者： |
林曉明,何康,李子鈺 |
| 下載權(quán)限： |
此報告為加密報告 |
|
|
人工智能62：NLP發(fā)展綜述，勾勒AI語義理解的軌跡
本文是華泰金工人工智能系列文本挖掘主題下的理論介紹篇，重點對NLP發(fā)展歷史上各階段的代表模型進行理論介紹。近年來金融文本類數(shù)據(jù)的結(jié)構(gòu)化程度越來越高，這一印象中的“另類數(shù)據(jù)”已不再另類，想要更充分的利用這類數(shù)據(jù)的alpha，勢必要求投資者對文本挖掘技術(shù)有更全面的理解?；诖耍疚膶LP發(fā)展歷史進行綜述，幫助讀者勾勒NLP的發(fā)展軌跡，以更好地識別契合量化交易需求的模型，達到知己知彼的效果。
將NLP歷史劃分為三階段，從統(tǒng)計語言模型到預(yù)訓(xùn)練語言模型
可以將NLP發(fā)展歷史劃分為三階段，各階段呈現(xiàn)出較為鮮明的特點。第一階段以統(tǒng)計語言模型為主，各類詞語&句子的表征方法層出不窮，沒有哪種模型占據(jù)絕對優(yōu)勢；第二階段以Word2Vec類的詞向量模型為主，WordEmbedding技術(shù)大行其道，遷移學(xué)習的思想嶄露頭角；第三階段預(yù)訓(xùn)練語言模型逐漸成熟，遷移學(xué)習的思想發(fā)揮到極致，BERT等模型站在前人的肩膀上大放異彩，NLP進入嶄新的時代。
第一階段以傳統(tǒng)統(tǒng)計語言模型為主，神經(jīng)網(wǎng)絡(luò)語言模型鋒芒初露
我們主要介紹了該階段的兩個模型，分別為N-gram和NNLM。N-gram是為了估計一段自然語言文本出現(xiàn)概率的大小而提出的模型，按鏈式法則將句子拆解為詞語出現(xiàn)的條件概率，以較為簡單的想法實現(xiàn)了較好的效果，但存在無法建模更長的上下文語義以及無法建模詞語間相似性的缺點。NNLM則首次將深度學(xué)習的思想引入語言模型中，不僅可以對更長的文本進行建模，而且產(chǎn)生了“詞向量”這一副產(chǎn)物，影響深遠。
第二階段以Word2Vec為代表，word embedding方法成為標配
Word2Vec包括CBOW和Skip-gram兩組模型，任務(wù)分別為根據(jù)上下文預(yù)測中心詞以及根據(jù)中心詞來預(yù)測上下文，相比于第一階段的NNLM簡化了網(wǎng)絡(luò)結(jié)構(gòu)，同時使用了Hierarchical Softmax和Negative Sampling兩種方法提高訓(xùn)練效率，使得大規(guī)模語料訓(xùn)練成為了現(xiàn)實。更重要的是，模型得到的詞向量能夠在語義上有非常好的表現(xiàn)。WordVec之后一大批wordembedding方法相繼涌現(xiàn)，從不同的角度對詞編碼、句子&段落編碼進行改進，word embedding成為NLP研究的標配，遷移學(xué)習思想逐漸明朗。
第三階段預(yù)訓(xùn)練語言模型大行其道，在巨人的肩膀上BERT模型誕生
ELMo、GPT及BERT模型是第三階段預(yù)訓(xùn)練語言模型的代表。ELMo的特點是可以根據(jù)上下文動態(tài)地生成詞向量，具有學(xué)習不同語境下詞匯多義性的能力，且使用雙向語言模型使得特征的提取更為準確。GPT則首次將Transformer應(yīng)用于語言模型，并且設(shè)計了一套高效的訓(xùn)練策略，證明了Transformer在NLP領(lǐng)域具有超強的能力和潛力。BERT模型集前人模型之大成，利用Transformer實現(xiàn)了真正意義上的雙向語義理解，并在預(yù)訓(xùn)練階段使用MLM和NSP兩個任務(wù)實現(xiàn)語義的更深層次理解，完善和擴展了GPT中設(shè)計的通用任務(wù)框架。
風險提示：通過機器學(xué)習模型構(gòu)建選股策略是歷史經(jīng)驗的總結(jié)，存在失效的可能。人工智能模型可解釋程度較低，使用須謹慎。
|
|
