>> 平安證券-計(jì)算機(jī)行業(yè)點(diǎn)評：無損長文本長度達(dá)200萬字，Kimi打開大模型應(yīng)用新世界-240322
|
事項(xiàng)：
近日，國內(nèi)人工智能公司月之暗面（ Moonshot AI ）在其微信公眾號“Moonshot AI”宣布，該公司的Kimi智能助手在長上下文窗口技術(shù)上取得突破，無損上下文長度可以到200萬字。此前，在2023年10月公司的智能助手可以實(shí)現(xiàn)20萬無損上下文長度，最新能力提升了一個數(shù)量級。
平安觀點(diǎn)：
Kimi智能助手短期內(nèi)能力得到了大幅提升，在國內(nèi)熱度快速提高。此次發(fā)布的無損上下文長度達(dá)到200萬字，較此前的20萬字，中間僅相隔了5個月左右。而公司月之暗面也是在2023年4月份才成立，成立時間也不足一年。Kimi智能助手又稱Kimi Chat，是月之暗面基于自研千億參數(shù)大模型打造的對話式AI助手產(chǎn)品，于2023年11月正式面向市場應(yīng)用。該產(chǎn)品最強(qiáng)的能力在于長上下文處理，包括長文總結(jié)和生成、聯(lián)網(wǎng)搜索、數(shù)據(jù)處理、編寫代碼、用戶交互和翻譯等。上線之后，該工具的熱度快速提升。根據(jù)Similarweb數(shù)據(jù)顯示，近幾周Kimi的訪問量上升趨勢非常明顯，該網(wǎng)站統(tǒng)計(jì)的最近四周（2.20-2.26、2.27-3.4、3.5-3.11、3.12-3.18）的訪問量分別是100.3萬、112.8萬、152.0萬和225.0萬。雖然公司對服務(wù)器持續(xù)進(jìn)行了擴(kuò)容，但是面對快速的用戶增長，壓力已經(jīng)開始顯現(xiàn)。
長文本有望打開大模型應(yīng)用新世界。大模型的參數(shù)量決定了其能夠支持多復(fù)雜的“計(jì)算”，而能夠接收多少文本輸入（即長文本技術(shù)）則決定了大模型有多大的“內(nèi)存”，兩者共同決定模型的應(yīng)用效果。當(dāng)前大模型輸入長度普遍較低的現(xiàn)狀對其技術(shù)落地產(chǎn)生了極大制約，比如虛擬角色會“忘記”部分重要信息，Agent無法獲得全面的輸入信息可能出現(xiàn)運(yùn)行失敗，部分游戲產(chǎn)品由于無法處理長文本能力而被迫簡化劇情等。Kimi支持更長的上下文意味著大模型擁有更大的“內(nèi)存”，從而使得大模型的應(yīng)用更加深入和廣泛，公司官方公眾號顯示，Kimi可以通過多篇財(cái)報進(jìn)行市場分析、處理超長的法務(wù)合同、快速梳理多篇文章或多個網(wǎng)頁的關(guān)鍵信息、基于長篇小說設(shè)定進(jìn)行角色扮演等等。大模型無損上下文長度的數(shù)量級提升，未來會幫助用戶打開對AI應(yīng)用場景的想象力，包括完整代碼庫的分析理解、可以自主完成多步驟復(fù)雜任務(wù)的智能體Agent、不會遺忘關(guān)鍵信息的終身助理、真正統(tǒng)一架構(gòu)的多模態(tài)模型等。
“無損壓縮”和文本長度提升是長文本技術(shù)需要兼顧的要求。公司創(chuàng)始人表示，如果要實(shí)現(xiàn)通用人工智能，無損的長上下文將會是一個很關(guān)鍵的基礎(chǔ)技術(shù)。歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無損的上下文長度。上下文長度在提升的過程中，需要兼顧長度和無損壓縮水平兩個指標(biāo)，這樣才能有意義的規(guī)?；?。從此次升級的間隔來看，時間非常短，可見公司并沒有走漸進(jìn)式的迭代路線，當(dāng)然面臨的技術(shù)難度應(yīng)該也更大。公司的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開發(fā)，在千億參數(shù)下實(shí)現(xiàn)了無損的長程注意力機(jī)制，不依賴于滑動窗口、降采樣、小模型等對性能損害較大的“捷徑”方案，兼顧了對長度和“無損”的兩項(xiàng)指標(biāo)。
投資建議：Kimi的火熱，是國內(nèi)在大模型基礎(chǔ)技術(shù)研究方面的突破的一個縮影。無損長文本模型的出現(xiàn)，也解決了很多大模型在應(yīng)用中的痛點(diǎn)，打開了大模型的應(yīng)用空間。AIGC最終的落地，還是要找到合適的場景。Kimi作為千億大模型，能夠支持復(fù)雜運(yùn)算，同時還能接受和處理大文本，解決了很多大模型實(shí)際應(yīng)用中的難題，后續(xù)商業(yè)化潛力將凸顯。目前，Kimi智能助手已在蘋果iOS應(yīng)用、Android應(yīng)用、小程序、網(wǎng)頁Web等多端平臺上線。我們繼續(xù)看好AIGC產(chǎn)業(yè)鏈，尤其是大模型的應(yīng)用潛力。在標(biāo)的方面：1）算力方面，推薦浪潮信息、中科曙光、紫光股份、神州數(shù)碼、海光信息、龍芯中科，建議關(guān)注工業(yè)富聯(lián)、寒武紀(jì)、景嘉微、高新發(fā)展、拓維信息、軟通動力；2）算法方面，推薦科大訊飛；3）應(yīng)用場景方面，強(qiáng)烈推薦中科創(chuàng)達(dá)、恒生電子、盛視科技，推薦金山辦公，建議關(guān)注萬興科技、同花順、彩訊股份；4）網(wǎng)絡(luò)安全方面，強(qiáng)烈推薦啟明星辰。
風(fēng)險提示：1）國內(nèi)算力提升速度不及預(yù)期的風(fēng)險；2）版權(quán)等合規(guī)監(jiān)管風(fēng)險；3）技術(shù)演進(jìn)風(fēng)險
|
|
