BloombergGPT：推動(dòng)金融GPT產(chǎn)業(yè)機(jī)遇 2023年3月30日，Bloomberg發(fā)布專(zhuān)為金融領(lǐng)域打造的大語(yǔ)言模型（LargeLanguage Model，LLM）BloombergGPT，實(shí)現(xiàn)了LLM在金融垂直場(chǎng)景的加速落地，國(guó)內(nèi)相關(guān)公司包括同花順、恒生電子、東方財(cái)富等企業(yè)。從測(cè)試結(jié)果來(lái)看，BloombergGPT在保證LLM通用性能的基礎(chǔ)上，更加聚焦金融場(chǎng)景,有效實(shí)現(xiàn)了LLM與金融垂直領(lǐng)域知識(shí)的深度融合。BloombergGPT的成功，佐證了“開(kāi)源模型+高質(zhì)量垂直數(shù)據(jù)”LLM搭建思路的有效性，金融GPT率先在證券場(chǎng)景落地，同時(shí)建議關(guān)注后續(xù)GPT在銀行領(lǐng)域的業(yè)務(wù)機(jī)會(huì)。 模型拆解：核心突破在于構(gòu)建金融訓(xùn)練數(shù)據(jù)集 根據(jù)論文《BloombergGPT: ALarge Language Model for Finance》介紹，BloombergGPT同樣基于典型的Transformer架構(gòu)，與OpenAIGPT模型相同，采用了僅有解碼器（decoder-only）的技術(shù)路徑。對(duì)比來(lái)看，BloombergGPT的模型參數(shù)為500億，介于GPT-2（1.5億）與GPT-3（1,750億）之間。不同的是，Bloomberg為強(qiáng)化LLM對(duì)金融垂直領(lǐng)域的專(zhuān)業(yè)理解，構(gòu)建了目前最大規(guī)模的金融數(shù)據(jù)集FINPILE，通過(guò)通用文本+金融知識(shí)的混合訓(xùn)練，讓BloombergGPT在執(zhí)行金融任務(wù)上的表現(xiàn)超過(guò)現(xiàn)有的通用LLM模型，在通用場(chǎng)景上的表現(xiàn)與現(xiàn)有通用LLM模型能力基本持平。 模型啟示：“開(kāi)源模型+垂直數(shù)據(jù)”大有可為 以GPT-3、GPT-4為代表的大語(yǔ)言模型均由大型的專(zhuān)業(yè)人工智能團(tuán)隊(duì)開(kāi)發(fā)，并且模型訓(xùn)練需要大量算力。BloombergGPT的成功證明了“開(kāi)源模型+高質(zhì)量垂直數(shù)據(jù)”的方案，可以基于垂直領(lǐng)域數(shù)據(jù)打造同樣具有競(jìng)爭(zhēng)力的大語(yǔ)言模型。大量的高質(zhì)量垂直領(lǐng)域知識(shí)有望彌補(bǔ)模型在規(guī)模上的不足，對(duì)比BloombergGPT與GPT-3可以看到，盡管BloombergGPT的模型參數(shù)相較于GPT-3較小，但得益于BloombergGPT的預(yù)訓(xùn)練數(shù)據(jù)增加了大量的高質(zhì)量金融數(shù)據(jù)，并對(duì)預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行了一系列的清洗、標(biāo)注，BloombergGPT在通用能力與GPT-3基本持平的情況下，實(shí)現(xiàn)了金融垂直能力的大幅增強(qiáng)。 金融GPT展望：掌握金融數(shù)據(jù)的廠(chǎng)商有望復(fù)制BloombergGPT路徑 基于BloombergGPT的成功案例，我們認(rèn)為，訓(xùn)練數(shù)據(jù)是大語(yǔ)言模型能力塑造的關(guān)鍵因素，同時(shí)，Bloomberg在論文中明確出于對(duì)數(shù)據(jù)泄露的擔(dān)憂(yōu)，BloombergGPT將采取與OpenAI相同的閉源方案，側(cè)面佐證了原始的預(yù)訓(xùn)練數(shù)據(jù)是各家大模型競(jìng)爭(zhēng)的重要因素。從國(guó)內(nèi)的金融GPT的預(yù)期來(lái)看，以同花順、恒生電子、東方財(cái)富為代表的金融IT廠(chǎng)商，掌握著豐富的金融垂直知識(shí)與現(xiàn)有AI產(chǎn)品布局，基于高質(zhì)量的金融數(shù)據(jù)與開(kāi)源的大語(yǔ)言模型，同樣有機(jī)會(huì)打造專(zhuān)屬金融場(chǎng)景的大語(yǔ)言模型，實(shí)現(xiàn)大語(yǔ)言模型在金融場(chǎng)景的有效賦能，讓大語(yǔ)言模型成為底層的AI操作系統(tǒng)。 風(fēng)險(xiǎn)提示：宏觀(guān)經(jīng)濟(jì)波動(dòng)影響；應(yīng)用落地不及預(yù)期；本報(bào)告基于公開(kāi)客觀(guān)信息整理，不構(gòu)成投資建議。
