>> 長江證券-神經(jīng)因子挖掘(五)——強化學習混頻Multi-Step DQN擇時策略-250626
| 上傳日期： |
2025/6/26 |
大?。?/td>
| 1728KB |
| 格式： |
pdf 共23頁 |
來源： |
長江證券 |
| 評級： |
-- |
作者： |
覃川桃 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
強化學習為量化投資帶來新思路，解決傳統(tǒng)模型痛點
傳統(tǒng)的量化投資方法，尤其是預測股票收益率的模型，雖然有效但存在明顯局限。它們往往只能間接優(yōu)化最終的投資目標（如年化收益、風險控制），如通過預測收益率或排序來間接提升策略。而且，構(gòu)建投資組合通常分好多步（找因子、合成因子、優(yōu)化組合），步驟之間不夠連貫，有時預測指標提升了，實際組合表現(xiàn)卻沒改善。此外，像資產(chǎn)擇時（判斷買賣時機）這種問題，可用的歷史數(shù)據(jù)量相對選股少得多，傳統(tǒng)模型很容易“死記硬背”歷史（過擬合），學不到真正有用的規(guī)律。
強化學習（RL）提供了一種新范式。它直接讓行為主體（智能體）在模擬的市場環(huán)境（環(huán)境）中學習交易策略（動作），目標就是最大化投資回報（獎勵）。這種“邊做邊學”的方式，可以直接優(yōu)化我們關心的最終收益和風險指標，并有可能將因子挖掘、信號生成和組合構(gòu)建整合到一個連續(xù)的決策流程中，從而有效緩解傳統(tǒng)方法的前兩個主要痛點。
DQN算法是構(gòu)建擇時策略的有效工具，其核心在于學習“最優(yōu)動作價值”
在眾多強化學習算法中，深度Q網(wǎng)絡（DQN）被證明較為適合像單一資產(chǎn)擇時這樣的任務。DQN的核心思想是教會模型一個關鍵能力：評估在特定市場狀況（狀態(tài)）下，采取不同交易動作（如做多、做空、空倉）的“潛在未來總回報”（稱為最優(yōu)動作價值函數(shù)Q*）。簡單說，就是讓模型學會判斷：“在當前這種市場環(huán)境下，選擇買、賣或平倉，哪個未來可能賺得最多？”
為了訓練這個DQN模型，可以采用了幾個關鍵技巧：1）目標網(wǎng)絡：使用一個稍滯后更新的Q網(wǎng)絡來計算目標值，防止模型自我欺騙導致估值過高；2）ε-貪婪策略：讓小部分時間隨機嘗試新動作，避免模型只走老路錯過更好機會；3）經(jīng)驗回放：把過去的交易經(jīng)驗儲存起來并打亂順序反復學習，這樣更高效且能打破數(shù)據(jù)的時間關聯(lián)性。
Multi-Step DQN擇時策略潛力巨大，多步優(yōu)化提升效果
將DQN應用于中證1000指數(shù)的日頻擇時。模型輸入融合了日頻和分鐘頻數(shù)據(jù)，以捕捉更豐富的市場信息。實際測試結(jié)果較為有效。信號有效：模型發(fā)出的做多和做空信號，其預測的未來收益統(tǒng)計特征（如勝率、盈虧比）都顯示出正向預測能力。策略表現(xiàn)優(yōu)異：構(gòu)建的多空策略（可做多做空）、純多頭策略和純空頭策略均顯著跑贏了基準（一直持有）。其中，多空策略年化收益高達64.9%（優(yōu)化后達79.4%），空頭策略則展現(xiàn)出更優(yōu)的風險控制能力（回撤小，夏普、卡瑪比率高）。多步DQN效果更佳：采用考慮未來多步獎勵的改進版DQN（Multi-Step DQN）后，信號質(zhì)量（做多做空更均衡，指標提升）和策略表現(xiàn)（各策略年化收益進一步提高，風險控制指標如夏普、卡瑪比率也改善）都得到了顯著優(yōu)化。這印證了調(diào)整未來收益評估機制（減少單步評估偏差）的有效性。
風險提示
1、深度學習模型訓練過程中有隨機性，可能導致預測結(jié)果有誤差；
2、模型總結(jié)的市場規(guī)律是基于歷史數(shù)據(jù)的，存在失效風險；
3、日頻交易策略回測結(jié)果僅供參考；
4、數(shù)據(jù)處理細節(jié)上的差異對策略有一定的影響。
|
|
