>> 浙商證券-機器學習與因子(二)：Transformer特征工程算法測評-230812
| 上傳日期： |
2023/8/13 |
大?。?/td>
| 2118KB |
| 格式： |
pdf 共22頁 |
來源： |
浙商證券 |
| 評級： |
-- |
作者： |
陳奧林 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
Transformer作為ChatGPT的底層模型，展示出了其在自然語言任務(wù)中的強大性能。股票投資場景和自然語言任務(wù)有內(nèi)在相似之處，金融時間序列可以被看作文字序列，且Transformer在處理長期記憶和變長序列任務(wù)中有優(yōu)勢。因此，本文嘗試在股票投資場景測試Transformer算法的特征工程能力。
基于Transformer構(gòu)建特征工程模型
本文以帶時間步長的多維因子作為輸入數(shù)據(jù)，以股票的次月回報作為標簽，逐步測試了各個超參數(shù)對Transformer模型的影響，并最終確定了月頻調(diào)倉場景下應用于股票特征工程的模型架構(gòu)。
Transformer算法能有效對特征加總
經(jīng)訓練的Transformer模型在樣本外能有效對股票特征進行加總并篩選股票。經(jīng)過中證1000、中證500、滬深300和全市場股票池的檢驗，模型能有效篩選出股票組合，從而對基準指數(shù)或空頭組合形成穩(wěn)定超額。經(jīng)測試，基于Transformer的特征工程模型IC為0.047，IR為0.69。
Transformer對比其它算法無明顯優(yōu)勢
在相同的場景設(shè)定下，本文對比了Transformer和《機器學習與因子（一）：特征工程算法測評》中測試的其它十種機器學習模型，Transformer并未體現(xiàn)出明顯優(yōu)勢?？赡艿脑蚴窃骂l樣本的數(shù)量難以滿足大參數(shù)模型訓練要求。
風險提示
模型測算風險：超參數(shù)設(shè)定對模型結(jié)果有較大影響；收益指標等指標均限于一定測試時間和測試樣本得到，收益指標不代表未來。
模型失效風險：機器學習模型基于歷史數(shù)據(jù)進行測算，不能直接代表未來，僅供參考。
|
|
