>> 浙商證券-學(xué)界縱橫系列之三：引入門控機(jī)制的Transformer模型探究-240123
| 上傳日期： |
2024/1/23 |
大?。?/td>
| 1124KB |
| 格式： |
pdf 共13頁(yè) |
來(lái)源： |
浙商證券 |
| 評(píng)級(jí)： |
-- |
作者： |
陳奧林 |
| 下載權(quán)限： |
此報(bào)告為加密報(bào)告，僅限高級(jí)會(huì)員查看 |
|
|
在時(shí)序依賴的任務(wù)中（如RL），基于RNN的模型性能和穩(wěn)定性優(yōu)于Transformer架構(gòu)。然而，Transformer中的自注意力機(jī)制能夠長(zhǎng)時(shí)間跨度上有效整合信息并擴(kuò)展到大量數(shù)據(jù)。為了提升時(shí)序依賴任務(wù)場(chǎng)景中的模型表現(xiàn)，在Transformer-XL基礎(chǔ)上提出的Gated Transformer-XL（GTrXL），該模型架構(gòu)在穩(wěn)定和性能上持平甚至趕超LSTM模型。
RNN模型在時(shí)序依賴任務(wù)方面有優(yōu)勢(shì)
RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型在處理時(shí)序數(shù)據(jù)時(shí)，相對(duì)其它模型架構(gòu)具有優(yōu)勢(shì)。
RNN通過(guò)循環(huán)連接，可以在隱藏狀態(tài)中保持并傳遞先前的信息，因此可以捕捉到時(shí)間上的依賴關(guān)系。這使得RNN模型在處理序列數(shù)據(jù)時(shí)能夠有效地捕捉到時(shí)間序列中的長(zhǎng)期依賴關(guān)系。相比之下，Transformer架構(gòu)中的自注意力機(jī)制雖然可以捕捉全局的依賴關(guān)系，但對(duì)于時(shí)序依賴關(guān)系的建模相對(duì)較弱。
引入門控制機(jī)制的GTrXL架構(gòu)
本報(bào)告推薦的文章是Emilio Parisotto，H. Francis Song，Jack W. Rae等人于2019年發(fā)布的Stabilizing Transformers for Reinforcement Learning。文獻(xiàn)認(rèn)為，傳統(tǒng)的Transformer在RL環(huán)境中很難優(yōu)化，通常導(dǎo)致性能不穩(wěn)定，甚至無(wú)法優(yōu)于隨機(jī)策略。
通過(guò)引入門控機(jī)制（gating mechanisms）替代傳統(tǒng)的殘差連接，以及重新排列層標(biāo)準(zhǔn)化（layer normalization）的順序，作者提出了一種新的架構(gòu)，稱為GatedTransformer-XL（GTrXL）。這一架構(gòu)在訓(xùn)練中更為穩(wěn)定，學(xué)習(xí)速度更快，最終性能也更好。
GTrXL有穩(wěn)定和高性能表現(xiàn)
作者通過(guò)廣泛的實(shí)驗(yàn)證明了Gated Transformer-XL（GTrXL）在多環(huán)境和任務(wù)中相較于傳統(tǒng)Transformer具有更快的學(xué)習(xí)速度、更可靠的性能以及更優(yōu)異的最終表現(xiàn)。在多任務(wù)DMLab-30套件上，GTrXL達(dá)到了最先進(jìn)水平，并在基于記憶的任務(wù)中明顯優(yōu)于LSTM。GTrXL不僅在記憶驅(qū)動(dòng)的任務(wù)上表現(xiàn)卓越，而且在反應(yīng)性任務(wù)和連續(xù)控制環(huán)境中也顯著勝過(guò)LSTM。相對(duì)于傳統(tǒng)Transformer和LSTM，GTrXL提供更好的學(xué)習(xí)速度和性能，因此成為強(qiáng)化學(xué)習(xí)代理中LSTM的一個(gè)有潛力的替代方案。
作者還進(jìn)行了詳盡的消融實(shí)驗(yàn)，評(píng)估了各種門控層變體在穩(wěn)健性、優(yōu)化難度和最終性能方面的影響，以及重新排序?qū)訕?biāo)準(zhǔn)化的效果。結(jié)果顯示，類似于GatedRecurrent Unit（GRU）的門控機(jī)制在所有方面表現(xiàn)最佳，具有與LSTM相當(dāng)?shù)姆€(wěn)健性，同時(shí)仍然保持性能提升。
風(fēng)險(xiǎn)提示
文章內(nèi)容參考了文獻(xiàn)Parisotto E , Song HF , Rae JW ,et al.Stabilizing Transformersfor Reinforcement Learning[J].。文章內(nèi)容部分僅代表該文獻(xiàn)的觀點(diǎn)，不代表浙商金工研究觀點(diǎn)。
文章由英文文獻(xiàn)翻譯而來(lái)，受術(shù)語(yǔ)差異、語(yǔ)境丟失和情感解讀等影響，可能存在翻譯偏差，僅供參考。文獻(xiàn)具體內(nèi)容請(qǐng)參照原文
|
|
