>> 國金證券-量化漫談系列之六:為大模型插上翅膀-ChatGLM部署與Langchain知識庫掛載-230907
| 上傳日期: |
2023/9/7 |
大小: |
2173KB |
| 格式: |
pdf 共16頁 |
來源: |
國金證券 |
| 評級: |
-- |
作者: |
高智威 |
| 下載權限: |
無限制-登錄即可下載 |
|
|
ChatGPT大模型使用現(xiàn)狀與Langchain框架介紹 自去年底ChatGPT發(fā)布以來,大模型展現(xiàn)出的能力受到市場的廣泛關注,我們基于ChatGPT的系列量化研究也充分說明其在投研領域的重要作用。不過ChatGPT在實際使用中依然存在專業(yè)度不夠、數(shù)據(jù)隱私性得不到保證、信息及時性不夠等問題。 我們推薦使用Langchain這一開源的大模型框架以提升模型的實際使用體驗,該框架應用領域廣泛,可以基于本地知識庫進行問答,接受多種不同文檔形式的輸入。其基本原理是將本地的不同文檔進行切分后存入向量數(shù)據(jù)庫中,在用戶提問時進行相似性搜索,結合最相似性的文檔段落放入提示模板中對大語言模型進行提問,從而得到更有專業(yè)性的回答結果。此外,Langchain的強大的Chain和Agent模塊能夠實現(xiàn)任務識別、任務拆解、工具選擇&使用、完成任務后的回答整理,對于大模型和知識庫的使用起到了錦上添花的作用。 主流開源大語言模型對比 隨著ChatGPT推出之后受到的廣泛關注,國內外眾多互聯(lián)網、科技類公司也紛紛推出了自己的大語言模型。美國的互聯(lián)網科技公司在開發(fā)出LLaMA模型后,眾多高校以該模型為基座訓練出了Alpaca和Vicuna等模型。國內有阿里云推出的Qwen,商湯科技、上海AI實驗室聯(lián)合多個高校開發(fā)出了InternLM,清華大學與智譜Al訓練的ChatGLM等模型都有非常不錯的表現(xiàn)。在OpenCompass的中文多維度綜合能力測評中,眾多國產開源大模型已經展現(xiàn)出了較強的綜合實力。 ChatGLM2部署與Langchain知識庫掛載 我們選擇關注度較高的ChatGLM2-6B模型進行部署,該模型在量化后可在一些消費級顯卡上進行推理,同時也有不錯的表現(xiàn)。同時搭配Langchain的框架對過往的行業(yè)研報、金工研報、宏觀及策略研報進行向量化后構建對應的知識庫,我們分別針對新知識掌握、多文本總結概括和信息搜集三大應用場景進行測試,發(fā)現(xiàn)ChatGLM2整體給出了較高的回復質量。該流程實現(xiàn)自動化后,可以將我們關心的日常資訊、私有數(shù)據(jù)、最新研報等內容自動更新加載進入知識庫,從而使模型使用更佳高效便捷。 風險提示 1、大語言模型基于上下文預測進行回答,不能保證回答準確性,由此可能產生誤導影響用戶判斷。 2、Langchain框架效果與掛載知識庫質量、提示模板設計、大語言模型能力高度相關,若相關配置不到位,可能會導致回答效果不及預期。
|
|