>> 華泰證券-金工深度研究：Attention is indeed all you need-230822
| 上傳日期： |
2023/8/22 |
大?。?/td>
| 2311KB |
| 格式： |
pdf 共24頁 |
來源： |
華泰證券 |
| 評級： |
-- |
作者： |
林曉明,何康,李子鈺 |
| 下載權(quán)限： |
此報(bào)告為加密報(bào)告，僅限高級會(huì)員查看 |
|
|
人工智能系列之69：注意力機(jī)制應(yīng)用于量化選股多類場景
注意力機(jī)制是近年來人工智能領(lǐng)域影響深遠(yuǎn)的創(chuàng)新之一，但以往應(yīng)用于量化投資多局限在行情時(shí)間序列編碼，本研究展示多種形式的注意力機(jī)制在量化選股各類場景的運(yùn)用。分別測試：(1)任務(wù)間注意力：提取多任務(wù)學(xué)習(xí)中的任務(wù)間關(guān)系信息；(2)股票間注意力：Transformer學(xué)習(xí)截面因子的股票間關(guān)系；(3)時(shí)序注意力：ALSTM和Transformer編碼因子時(shí)間序列。結(jié)果表明：(1)任務(wù)間注意力提升穩(wěn)定；(2)股票間注意力提升主要體現(xiàn)在因子多頭；(3)Transformer時(shí)序注意力提升主要體現(xiàn)在合成因子及放寬組合優(yōu)化約束情景。注意力機(jī)制在多數(shù)場景有效，Attention is indeed all you need。
自注意力：權(quán)重再分配表征數(shù)據(jù)內(nèi)部關(guān)系
注意力系數(shù)的本質(zhì)是兩個(gè)向量的歸一化相似度。自注意力通過計(jì)算輸入信息中各元素間的注意力系數(shù)作為權(quán)重，將其他元素的信息聚合到自身。因此，自注意力的本質(zhì)是基于相似度的權(quán)重再分配，用來表征數(shù)據(jù)內(nèi)部關(guān)系。只要涉及權(quán)重分配和關(guān)系信息表征，都有可能引入注意力結(jié)構(gòu)，萬物皆可Attention。計(jì)算自注意力的對象，在自然語言處理場景下，通常是一條文本內(nèi)的各單詞；而在因子選股場景下，既可以是一條時(shí)間序列內(nèi)的各時(shí)刻，又可以是一個(gè)截面內(nèi)的各股票，還可以是一組網(wǎng)絡(luò)內(nèi)的各模塊。
任務(wù)間注意力勝在穩(wěn)定；股票間注意力的提升體現(xiàn)在合成因子多頭
在多任務(wù)學(xué)習(xí)的任務(wù)共享層和任務(wù)特異層間引入多頭自注意力層，編碼任務(wù)間關(guān)系；將任務(wù)共享層的MLP網(wǎng)絡(luò)替換為Transformer編碼器，利用注意力機(jī)制學(xué)習(xí)因子的股票間關(guān)系。對比多任務(wù)學(xué)習(xí)基線、任務(wù)間注意力和股票間注意力模型。任務(wù)間注意力模型的合成因子和指數(shù)增強(qiáng)組合回測表現(xiàn)有穩(wěn)定提升，提升同時(shí)體現(xiàn)在每個(gè)子任務(wù)以及子任務(wù)集成上。股票間注意力模型的合成因子RankIC和Top組收益有提升，但指增組合只在部分子任務(wù)以及子任務(wù)集成上觀察到優(yōu)勢。
時(shí)序注意力：Transformer優(yōu)于ALSTM，放寬組合優(yōu)化約束后提升明顯
因子時(shí)間序列通常采用循環(huán)神經(jīng)網(wǎng)絡(luò)編碼，將LSTM替換為ALSTM和Transformer，引入時(shí)序注意力編碼時(shí)序信息。對比單任務(wù)學(xué)習(xí)基線和兩類注意力模型。從合成因子評價(jià)指標(biāo)看，LSTM和ALSTM接近，Transformer全面勝出，表明Transformer在編碼時(shí)間序列上有顯著優(yōu)勢。觀察指增組合回測績效，原始組合優(yōu)化約束條件下基線模型較好，Transformer合成因子的優(yōu)勢難以體現(xiàn)在組合中；放寬約束條件后，以信息比率的下降為代價(jià)換取年化超額收益率的提升，Transformer優(yōu)于LSTM和ALSTM。
模型集成：時(shí)序注意力提供較多增量信息，集成是“免費(fèi)的午餐”
將基線模型和三類注意力模型的預(yù)測值等權(quán)集成。觀察與基線模型相關(guān)性，任務(wù)間注意力>股票間注意力>時(shí)序注意力，時(shí)序注意力提供較多增量信息。合成因子RankIC均值、對沖收益高于全部子模型，指增組合年化超額收益率高于全部子模型，部分關(guān)鍵指標(biāo)僅次于時(shí)序注意力模型。集成模型與基線模型累計(jì)RankIC差值穩(wěn)定擴(kuò)大，Top組年化收益從25.8%提升至28.6%，指增組合年化超額收益率從17.2%提升至18.2%，信息比率從2.79提升至3.00。總的來看，模型集成仍是“免費(fèi)的午餐”，大概率可以提升模型性能。
風(fēng)險(xiǎn)提示：人工智能挖掘市場規(guī)律是對歷史的總結(jié)，市場規(guī)律在未來可能失效。人工智能技術(shù)存在過擬合風(fēng)險(xiǎn)。深度學(xué)習(xí)模型受隨機(jī)數(shù)影響較大。本文測試的選股模型調(diào)倉頻率較高，假定以vwap價(jià)格成交，忽略其他交易層面因素影響。
|
|
