>> 浙商證券-AI前沿點評(十)-DocLLM：多模態(tài)文檔理解大語言模型-240109
| 上傳日期： |
2024/1/9 |
大?。?/td>
| 686KB |
| 格式： |
pdf 共8頁 |
來源： |
浙商證券 |
| 評級： |
-- |
作者： |
陳冀 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
近日J(rèn)PMorgan AI團(tuán)隊Dongsheng W. et al研發(fā)了DocLLM。該模型特別強(qiáng)調(diào)空間結(jié)構(gòu)，避免使用復(fù)雜的圖像編碼器。其架構(gòu)包含了分離的空間注意力機(jī)制和獨特的預(yù)訓(xùn)練策略，包括填充文本段落。在處理企業(yè)文檔中常見的不規(guī)則布局和多樣化內(nèi)容方面，DocLLM展示了比現(xiàn)有最先進(jìn)的語言模型更優(yōu)異的性能。
DocLLM強(qiáng)調(diào)空間信息
文檔智能本質(zhì)上是一個多模態(tài)問題，其中文本內(nèi)容和視覺布局線索對于理解文檔至關(guān)重要。這要求有別于傳統(tǒng)大型語言模型（如GPT-3.5、Llama等）的解決方案，這些模型主要接受文本輸入并假設(shè)文檔具有簡單的布局和統(tǒng)一的格式。DocLLM模型強(qiáng)調(diào)了空間信息作為重要的輔助背景信號的處理，這與需要復(fù)雜視覺骨干架構(gòu)來編碼圖像信息的許多視覺-語言框架不同。
通過修改預(yù)訓(xùn)練目標(biāo)解決傳統(tǒng)文檔處理難題
對于視覺文檔的異質(zhì)內(nèi)容、不規(guī)則布局和分散的文本段落，傳統(tǒng)的下一個標(biāo)記預(yù)測目標(biāo)可能受限。為了解決這個問題，DocLLM提出了兩種修改預(yù)訓(xùn)練目標(biāo)的方法：采用包含更廣泛背景的連貫文本塊，以及實現(xiàn)一種基于前后標(biāo)記的填充方法。這些修改使模型能夠更好地處理文本對齊不一致、上下文補(bǔ)全、復(fù)雜布局和混合數(shù)據(jù)類型。
提出新的Attention機(jī)制捕獲跨模態(tài)關(guān)系
DocLLM模型展示了僅包含空間布局結(jié)構(gòu)就足以處理各種文檔智能任務(wù)，如表格理解、表格對齊和視覺問答。與其他模型將空間和文本嵌入串聯(lián)或求和的方式不同，DocLLM將空間信息視為一種獨立的模態(tài)，并以解耦的方式計算其與文本模態(tài)的相互依賴關(guān)系。通過擴(kuò)展標(biāo)準(zhǔn)變換器的自注意機(jī)制，包括新的注意力得分來捕獲跨模態(tài)關(guān)系，能夠在不同抽象層次上表示表單中字段的內(nèi)容位置和大小的相關(guān)性，從而增強(qiáng)對文檔的理解
風(fēng)險提示
本報告依據(jù)最新前沿論文進(jìn)行解讀評述，若有理解不當(dāng)請以原始論文表述為準(zhǔn)。且本報告為AI應(yīng)用方法和框架介紹，并不作為有效投資方法建議，僅供參考。
|
|
