久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

報(bào)告摘要：
　　強(qiáng)化學(xué)習(xí)是人工智能領(lǐng)域的重要研究方向之一，隨著AlphaGo的成功以及在大模型上的關(guān)鍵應(yīng)用，強(qiáng)化學(xué)習(xí)廣泛地走進(jìn)了人們的視野。強(qiáng)化學(xué)習(xí)是對(duì)狀態(tài)、動(dòng)作與獎(jiǎng)勵(lì)的建模，機(jī)制為基于狀態(tài)來(lái)選擇動(dòng)作并獲取獎(jiǎng)勵(lì)，其通過(guò)agent與環(huán)境的交互獲取經(jīng)驗(yàn)，然后利用經(jīng)驗(yàn)不斷優(yōu)化動(dòng)作選擇的策略，其目標(biāo)是得到最優(yōu)策略。從最初的Markov決策過(guò)程建模到經(jīng)典的強(qiáng)化學(xué)習(xí)算法，如Monte-Carlo方法、時(shí)間差分算法包括Qlearning和SARSA等value-based方法，這些算法推動(dòng)了強(qiáng)化學(xué)習(xí)早期的發(fā)展。而后policy-based方法的出現(xiàn)以及與深度學(xué)習(xí)的結(jié)合，進(jìn)一步推進(jìn)了強(qiáng)化學(xué)習(xí)融入人工智能前沿的進(jìn)程，從策略梯度算法的提出到Actor-Critic架構(gòu)，其中包括A2C、A3C、PPO以及確定性策略中的DDPG、TD3等高效的算法。
　　強(qiáng)化學(xué)習(xí)在量化領(lǐng)域同樣有著廣泛的應(yīng)用，包括組合優(yōu)化、算法交易以及衍生品對(duì)沖等方面。本報(bào)告著眼于強(qiáng)化學(xué)習(xí)在因子合成方面的應(yīng)用，使用簡(jiǎn)單高效的循環(huán)強(qiáng)化學(xué)習(xí)RRL對(duì)基于日內(nèi)量?jī)r(jià)序列的Logsig-Alpha系列因子進(jìn)行合成。
　　循環(huán)強(qiáng)化學(xué)習(xí)RRL是一類直接強(qiáng)化學(xué)習(xí)算法，它直接對(duì)策略進(jìn)行建模，通過(guò)一個(gè)可微的目標(biāo)函數(shù)優(yōu)化整個(gè)模型，并且可以建模連續(xù)的動(dòng)作與狀態(tài)，相比于其他經(jīng)典算法更加靈活。這里的RRL模型包含兩個(gè)模塊，信息融合模塊以及策略網(wǎng)絡(luò)模塊，前者使用RNN融合當(dāng)前信息與歷史信息作為狀態(tài)，后者基于狀態(tài)選擇動(dòng)作。
　　在基于RRL的因子合成方法中，每個(gè)時(shí)間點(diǎn)的信息選擇為待合成因子的多個(gè)Rank IC以及ICIR指標(biāo)，該時(shí)間點(diǎn)的狀態(tài)定義為當(dāng)前信息與歷史信息的融合；基于狀態(tài)選擇的動(dòng)作為因子的權(quán)重向量；目標(biāo)函數(shù)基于合成因子的整體表現(xiàn)以及與基準(zhǔn)的偏差進(jìn)行設(shè)計(jì)。計(jì)算目標(biāo)函數(shù)，并利用梯度上升算法優(yōu)化參數(shù)。
　　從測(cè)試結(jié)果來(lái)看，基于RRL的合成因子表現(xiàn)顯著優(yōu)于細(xì)分因子。另外，相比于傳統(tǒng)的因子合成方法，如等權(quán)、IC加權(quán)、ICIR加權(quán)以及最大化預(yù)期IC，其表現(xiàn)更為優(yōu)異，合成因子2021年1月到2024年2月的月度調(diào)倉(cāng)回測(cè)結(jié)果為Rank IC：13.61%，ICIR：1.09，五分組多頭年化超額：15.77%，多空Sharpe Ratio：2.6。RRL因子合成的優(yōu)勢(shì)在于以下幾個(gè)方面：第一，相比于傳統(tǒng)僅考慮單期單因子單指標(biāo)的方法，基于RRL的因子合成方法同時(shí)考慮了待合成因子的多個(gè)Rank IC和ICIR指標(biāo)，且包含歷史數(shù)據(jù)，也就是說(shuō)其依據(jù)指標(biāo)的時(shí)間序列與期限結(jié)構(gòu)來(lái)得到權(quán)重，信息輸入更加全面。第二，其目標(biāo)函數(shù)可以靈活設(shè)定，可以根據(jù)不同的偏好選擇不同的優(yōu)化目標(biāo)，具有一定的可擴(kuò)展性。第三，RRL因子合成模型架構(gòu)簡(jiǎn)單高效，參數(shù)量較少，其訓(xùn)練過(guò)程無(wú)需額外生成數(shù)據(jù)序列。
　　風(fēng)險(xiǎn)提示：以上分析基于模型結(jié)果和歷史測(cè)算，存在模型失效風(fēng)險(xiǎn)。