>> 國(guó)金證券-大模型賦能投研之七：如何結(jié)合結(jié)構(gòu)化數(shù)據(jù)搭建本地智能投研系統(tǒng)？-RAGFlow原理篇-250420
| 上傳日期： |
2025/4/21 |
大?。?/td>
| 4732KB |
| 格式： |
pdf 共36頁(yè) |
來(lái)源： |
國(guó)金證券 |
| 評(píng)級(jí)： |
-- |
作者： |
高智威,許坤圣 |
| 下載權(quán)限： |
無(wú)限制-登錄即可下載 |
|
|
RAG架構(gòu)的意義及痛點(diǎn)
DeepSeek-R1模型以開(kāi)源方式問(wèn)世帶來(lái)廣泛影響，LLM大模型發(fā)展由基礎(chǔ)設(shè)置轉(zhuǎn)向模型應(yīng)用，但同時(shí)大模型仍面臨模型“幻覺(jué)”、過(guò)時(shí)信息以及專業(yè)知識(shí)匱乏三個(gè)困境。RAG架構(gòu)可以通過(guò)搭建存儲(chǔ)知識(shí)信息的數(shù)據(jù)庫(kù)，并從中檢索具有及時(shí)性、專業(yè)性的信息補(bǔ)充大語(yǔ)言模型的文本生成與邏輯思考過(guò)程。
但在RAG的工作流程中，存在多個(gè)痛點(diǎn)問(wèn)題影響其使用效果：在文檔解析入庫(kù)的流程中存在如何高質(zhì)量完成文本識(shí)別與分塊、如何對(duì)分塊信息進(jìn)一步處理、如何選擇合適的Embedding模型等痛點(diǎn)問(wèn)題；在信息檢索輸出的流程中存在如何高質(zhì)量進(jìn)行內(nèi)容檢索、如何選擇合適的重排序模型以及如何進(jìn)行合適的Prompt處理銜接RAG與大模型等痛點(diǎn)問(wèn)題。
追求高質(zhì)量的RAGFlow開(kāi)源解決方案
由于大模型的快速發(fā)展，市面上已經(jīng)存在FastGPT、Dify、RAGFlow等多種開(kāi)源RAG架構(gòu)解決方案。其中，由于RAGFlow追求“Quality in，Quality out”的高質(zhì)量要求，故將RAGFlow作為我們的最終選擇。
針對(duì)RAG架構(gòu)中可能存在的痛點(diǎn)問(wèn)題，RAGFlow努力給出自己的解決方案。在文本解析入庫(kù)的流程中，RAGFlow使用自己開(kāi)發(fā)的DeepDoc組件實(shí)現(xiàn)復(fù)雜文檔的解析與分塊，并針對(duì)分塊后的文本信息引入Raptor召回增強(qiáng)策略和知識(shí)圖譜策略進(jìn)行進(jìn)一步處理，同時(shí)提供了豐富的Embedding模型方便用戶選型；在信息檢索輸出流程中，RAGFlow采用關(guān)鍵詞搜索+向量搜索的雙路召回策略，并針對(duì)檢索到的文本塊，使用關(guān)鍵詞相似度+Rerank模型相似度兩種方法計(jì)算加權(quán)平均相似度進(jìn)行文本塊的重排序，從而保證信息檢索質(zhì)量，并使用合適的Prompt將知識(shí)信息傳遞給大模型。
值得注意的是，RAGFlow同樣支持結(jié)構(gòu)化解析與檢索，傳入xlsx或csv/txt格式的文件后，選擇“Table”模式進(jìn)行解析，RAGFlow會(huì)將數(shù)據(jù)的每行解析為一個(gè)文本塊，以列名對(duì)應(yīng)單元格值的方式組織，并高質(zhì)量得保留了重要信息。
RAGFlow效果評(píng)估與檢驗(yàn)
在厘清RAGFlow整體實(shí)施方案的基礎(chǔ)上，進(jìn)行其效果的評(píng)估檢驗(yàn)，整個(gè)評(píng)估流程基于RAGAs評(píng)估框架進(jìn)行，并選定15篇金融領(lǐng)域不同方向的研究報(bào)告作為評(píng)估樣本，同時(shí)針對(duì)樣本進(jìn)行問(wèn)題與答案的設(shè)計(jì)；后續(xù)評(píng)估基于此進(jìn)行。
具體而言，首先針對(duì)不同的文檔解析入庫(kù)、不同的信息檢索輸出配置方案進(jìn)行評(píng)估對(duì)比，并最終得到較優(yōu)的配置方案搭配；其次評(píng)估不同Embedding與Reranker模型搭配的具體表現(xiàn)，并選擇較優(yōu)的模型搭配方案；最終，針對(duì)General文檔解析、Raptor召回增強(qiáng)以及信息檢索配置這三個(gè)過(guò)程中涉及到的具體參數(shù)進(jìn)行尋優(yōu)。
最終，通過(guò)對(duì)RAGFlow效果的評(píng)估與檢驗(yàn)，可以認(rèn)為RAGFlow優(yōu)于Dify（默認(rèn)配置）的檢索輸出效果，并匯總整體的評(píng)估流程，可得較優(yōu)的RAGFlow全流程配置方案：Embedding模型選擇SFR-Embedding-Mistral、Reranker模型選擇bce-reranker-base_v1；在解析入庫(kù)時(shí)使用General方法、設(shè)置最大token數(shù)為512或1024進(jìn)行文檔解析，同時(shí)選擇開(kāi)啟社區(qū)摘要的知識(shí)圖譜功能；在檢索輸出時(shí)，開(kāi)啟多輪優(yōu)化、不開(kāi)啟知識(shí)推理功能。若想要減少文檔解析時(shí)間，可以選擇關(guān)閉知識(shí)圖譜，開(kāi)啟Raptor召回增強(qiáng)策略，同樣可以獲得較有的解析與檢索質(zhì)量。
風(fēng)險(xiǎn)提示
對(duì)于RAGFlow的分析基于v0.17.2版本進(jìn)行，未來(lái)更新可能導(dǎo)致項(xiàng)目細(xì)節(jié)發(fā)生變換；本文所進(jìn)行的評(píng)估基于小樣本集、并使用DeepSeek chat模型作為L(zhǎng)LM模型進(jìn)行，更換測(cè)試樣本、更換大語(yǔ)言模型可能導(dǎo)出RAGFlow的具體表現(xiàn)與本文結(jié)果存在出入；RAG架構(gòu)不能完全消除大模型“幻覺(jué)”等弊端，使用RAGFlow得到的輸出結(jié)果存在隨機(jī)性和準(zhǔn)確性風(fēng)險(xiǎn)，使用時(shí)應(yīng)加以辨別。
|
|
