>> 華安證券-“學(xué)海拾珠”系列之一百六十四，MemSum：基于多步情景馬爾可夫決策過程的長文檔摘要提取-231101
| 上傳日期： |
2023/11/2 |
大?。?/td>
| 1314KB |
| 格式： |
pdf 共17頁 |
來源： |
華安證券 |
| 評級： |
-- |
作者： |
嚴(yán)佳煒,駱昱杉 |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
主要觀點(diǎn)：
本篇是“學(xué)海拾珠”系列第一百六十四篇，本文介紹了MemSum，一種基于強(qiáng)化學(xué)習(xí)的提取總結(jié)器，模型迭代地將句子選擇到摘要中，考慮：(1)句子的文本內(nèi)容，(2)全局文本上下文，(3)已經(jīng)提取的句子集的歷史信息。憑借輕量級結(jié)構(gòu)，MemSum在長文檔數(shù)據(jù)集（PubMed、arXiv和GovReport）上仍獲得了最先進(jìn)的測試集性能（ROUGE分?jǐn)?shù)）。
不同尺度的特征提取器對于模型提取摘要的效果提升顯著
MemSum模型中包含局部句子編碼器、全局句子信息編碼器和已提取歷史信息編碼器三種不同尺度、不同目的的編碼器，經(jīng)過消融實(shí)驗(yàn)驗(yàn)證，這三種編碼器都顯示出了卓越性能，其中全局上下文編碼器和提取歷史編碼又比局部句子編碼器的作用更顯著。提取歷史編碼器是MemSum能夠達(dá)到SOTA的核心因素之一，經(jīng)過驗(yàn)證，提取歷史信息顯著地降低了提取出的摘要的冗余度。
獨(dú)特的停止機(jī)制幫助模型輸出合理長度的摘要
與之前的模型不同之處在于，在MemSum中，停止選擇句子也被當(dāng)作一個獨(dú)立的決策行為，相比于規(guī)定固定的句子數(shù)量或文本長度，以及在源文本中添加特殊停止標(biāo)記的方法等，這種停止機(jī)制使得模型能夠?qū)W習(xí)智能地選擇摘要長度。
文獻(xiàn)來源
核心內(nèi)容摘選自Nianlong Gu，Elliott Ash和Richard H.R.Hahnloser在《Association for Computational Linguistics》上發(fā)表的文章《MemSum: Extractive Summarization of Long Documents UsingMulti-Step Episodic Markov Decision Processes》
風(fēng)險提示
文獻(xiàn)結(jié)論基于歷史數(shù)據(jù)與海外文獻(xiàn)進(jìn)行總結(jié)；不構(gòu)成任何投資建議。
|
|
