>> 國(guó)盛證券-通信行業(yè)周報(bào)：AI前沿，頂級(jí)AI峰會(huì)關(guān)注了哪些新方向？-231224
| 上傳日期： |
2023/12/24 |
大?。?/td>
| 1855KB |
| 格式： |
pdf 共17頁(yè) |
來(lái)源： |
國(guó)盛證券 |
| 評(píng)級(jí)： |
增持 |
作者： |
宋嘉吉,黃瀚,趙丕業(yè) |
| 行業(yè)名稱： |
通信 |
| 下載權(quán)限： |
無(wú)限制-登錄即可下載 |
|
|
EMNLP是自然語(yǔ)言處理領(lǐng)域的頂級(jí)會(huì)議之一，由于今年ChatGPT等AI應(yīng)用的問(wèn)世，聊天型AI和自然語(yǔ)言處理概念得到學(xué)術(shù)界的進(jìn)一步深入關(guān)注，EMNLP今年的投稿數(shù)量達(dá)到4909篇，創(chuàng)歷史新高。我們通過(guò)對(duì)比EMNLP 2022年和2023年收錄的論文研究方向變化，觀察到在近兩年的時(shí)間里，自然語(yǔ)言處理的研究由傳統(tǒng)NLP的算法優(yōu)化轉(zhuǎn)變至大模型的性能優(yōu)化，大模型調(diào)優(yōu)領(lǐng)域或進(jìn)入學(xué)術(shù)攻堅(jiān)階段，論文數(shù)量顯著提升；大模型評(píng)估作為AI發(fā)展的重要工具，也成為今年的熱門論文產(chǎn)出賽道；機(jī)器翻譯、自然語(yǔ)言理解、上下文理解領(lǐng)域或已進(jìn)入大模型的規(guī)模性應(yīng)用階段，個(gè)別方向被LLM顛覆，如BERT模型，論文數(shù)量顯著下降。
2022年：前沿研究集中于傳統(tǒng)NLP的算法優(yōu)化、性能評(píng)估、算法穩(wěn)定性等，針對(duì)LLM的對(duì)話系統(tǒng)、模型蒸餾、文本生成方向的研究較少。我們統(tǒng)計(jì)了2022年EMNLP會(huì)議上被正式收錄的829篇論文，通過(guò)對(duì)論文摘要進(jìn)行總結(jié)，得到若干關(guān)鍵詞，并進(jìn)行詞頻統(tǒng)計(jì)。提示詞解釋研究量仍舊居高不下，多語(yǔ)言處理論文量上升，成了一門相對(duì)獨(dú)立的賽道；圖形-文字的多模態(tài)研究變多；與推理優(yōu)化有關(guān)的（例如常識(shí)推理、問(wèn)題分解、定量推理）研究變多。獲獎(jiǎng)?wù)撐牡难芯考杏诙嗄B(tài)泛化和模型性能評(píng)估兩個(gè)領(lǐng)域。
2023年：由傳統(tǒng)方法轉(zhuǎn)向擁抱LLM，集中攻關(guān)現(xiàn)有LLM的不足，研究方向集中于LLM、模型性能優(yōu)化、模型性能評(píng)估、多模態(tài)學(xué)習(xí)、多模態(tài)數(shù)據(jù)對(duì)齊等。我們認(rèn)為，EMNLP 2023的入圍論文更加注重用戶提示詞處理、推理優(yōu)化、減少幻覺(jué)、模型評(píng)分幾個(gè)新維度，會(huì)議重點(diǎn)在于圍繞LLM的可用性（AI能否正確、流暢地回答問(wèn)題）、實(shí)用性（LLM向Agent的進(jìn)化）和耐用性（AI對(duì)算力資源的利用率，即綠色AI）進(jìn)行學(xué)術(shù)研究工作的組織和引導(dǎo)。獲獎(jiǎng)?wù)撐募杏谏舷挛膶W(xué)習(xí)、模型泛化性能評(píng)估、模型蒸餾、常識(shí)推理、AIAgent、模型安全等領(lǐng)域，可以說(shuō)是針對(duì)AI現(xiàn)存的痛點(diǎn)進(jìn)行攻關(guān)。
同時(shí)，由于LLM迭代速度超預(yù)期，對(duì)比今年7月的ACL 2023會(huì)議，EMNLP 2023的研究賽道（Track）經(jīng)過(guò)主動(dòng)調(diào)整，數(shù)個(gè)主題出現(xiàn)合并、刪除或增加：語(yǔ)言多樣性賽道和多語(yǔ)性以及跨語(yǔ)言自然語(yǔ)言處理合并為了多語(yǔ)言和語(yǔ)言多樣性賽道；語(yǔ)義學(xué)中的詞匯和句子兩個(gè)賽道被合并；刪除了ACL 2023新增加的大語(yǔ)言模型賽道，并改為更加細(xì)化的常識(shí)推理、自然語(yǔ)言處理的高效方法、以人為中心的自然語(yǔ)言處理和語(yǔ)言建模和語(yǔ)言模型的分析。
通過(guò)學(xué)術(shù)界前沿研究方向的梳理，我們得出結(jié)論：一是大語(yǔ)言模型作為一項(xiàng)顛覆性發(fā)明，深刻改變了學(xué)術(shù)與產(chǎn)業(yè)兩端，隨著理論與實(shí)踐的相互作用，未來(lái)“AI將深刻改變?nèi)祟惿鐣?huì)”的觀點(diǎn)將進(jìn)一步被映證；二是前沿研究目前仍舊集中于模型調(diào)優(yōu)，或許說(shuō)明該方向的研究對(duì)提升現(xiàn)有大模型的能力的邊際變化最為顯著；三是針對(duì)多模態(tài)模型的研究正在逐步深入，從去年較熱門的數(shù)據(jù)對(duì)齊到今年的少樣本泛化，我們認(rèn)為未來(lái)多模態(tài)模型的表現(xiàn)有望再進(jìn)一步驚艷人類用戶，增強(qiáng)對(duì)AI的信心。
算力——
光通信：中際旭創(chuàng)、新易盛、天孚通信、太辰光、騰景科技、光庫(kù)科技、光迅科技、德科立、聯(lián)特科技、華工科技、源杰科技、劍橋科技、銘普光磁。算力調(diào)優(yōu)/調(diào)度/租賃：恒為科技、思特奇、中科金財(cái)、東方材料、博睿數(shù)據(jù)、中貝通信、中科曙光、中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)電信。算力設(shè)備：中興通訊、紫光股份、銳捷網(wǎng)絡(luò)、盛科通信、菲菱科思、工業(yè)富聯(lián)、寒武紀(jì)、震有科技。液冷：英維克、申菱環(huán)境、高瀾股份、佳力圖。邊緣算力承載平臺(tái)：美格智能、廣和通、移遠(yuǎn)通信、初靈信息、龍宇股份、網(wǎng)宿科技、佳訊飛鴻。衛(wèi)星通信：中國(guó)衛(wèi)通、中國(guó)衛(wèi)星、震有科技、華力創(chuàng)通、電科芯片、海格通信。
數(shù)據(jù)要素——
運(yùn)營(yíng)商：中國(guó)電信、中國(guó)移動(dòng)、中國(guó)聯(lián)通。數(shù)據(jù)可視化：浩瀚深度、恒為科技、中新賽克。BOSS系統(tǒng)：亞信科技、天源迪科、東方國(guó)信。
風(fēng)險(xiǎn)提示：AI發(fā)展不及預(yù)期，算力需求不及預(yù)期，市場(chǎng)競(jìng)爭(zhēng)風(fēng)險(xiǎn)。
|
|
