>> 申萬宏源-計(jì)算機(jī)行業(yè)AIGC系列深度之24：GPT-4v如何實(shí)現(xiàn)強(qiáng)大多模態(tài)，從文生圖到圖生文-231009
|
本期投資提示：
GPT-4V展現(xiàn)強(qiáng)大多模態(tài)能力，新興應(yīng)用曙光初現(xiàn)。9月25日，Open AI宣布即將發(fā)布新的多模態(tài)功能，包括圖像讀取與理解、語音對話和語音生成；根據(jù)微軟測評：1）4V支持多種混合輸入方式，同時展現(xiàn)了指令跟隨、思維鏈、上下文少樣本學(xué)習(xí)等能力；2）可以勝任大量具體任務(wù)，包括開放世界視覺理解、視覺描述、多模態(tài)知識、文檔推理等都表現(xiàn)較好；3）可以期待4V出現(xiàn)后更多AI創(chuàng)新應(yīng)用，包括工業(yè)缺陷檢測、醫(yī)療影像識別、具身智能交互、汽車保險評估等。
過去小模型時代“視覺智能”有限，增加語言模態(tài)或成為破局關(guān)鍵。在計(jì)算機(jī)視覺CV領(lǐng)域，過去常見方式仍是使用高質(zhì)量、密集標(biāo)注數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，這一訓(xùn)練方法下模型Few-shot和Zero-shot較弱。增加語言信息，有助于提升視覺模型的泛化能力。
多模態(tài)兩大重要基礎(chǔ)工作：ViT和CLIP。1）ViT（Vision Transformer）首次將Transformer架構(gòu)較好的應(yīng)用在計(jì)算機(jī)視覺任務(wù)中；2）CLIP用于將相關(guān)文本和圖像對應(yīng)，Open AI從網(wǎng)上爬蟲，抓取已經(jīng)有過描述的文本-圖像數(shù)據(jù)集，數(shù)據(jù)集規(guī)模達(dá)到了4億。在這兩個基礎(chǔ)工作后，語言和視覺特征可以用同一架構(gòu)Transformer提取，且也有了對應(yīng)數(shù)據(jù)集訓(xùn)練。
Open AI的GPT-4v多模態(tài)能力來源：1）強(qiáng)大的已有語言模型基礎(chǔ)，產(chǎn)業(yè)界猜測GPT-4使用了類似Flamingo架構(gòu)的交叉注意力機(jī)制，特點(diǎn)為不直接訓(xùn)練一個多模態(tài)模型，而是在已經(jīng)預(yù)訓(xùn)練好的語言大模型中引入圖像理解能力。即Open AI可以使用ChatGPT中已經(jīng)構(gòu)建的語言模塊，大幅節(jié)約成本；2）2C應(yīng)用發(fā)布前的大量安全工作，GPT-4盡管此前已經(jīng)完成了多模態(tài)部分的測試，但是在發(fā)布前的6個月也經(jīng)歷大量調(diào)整，包括減少幻覺、拒絕越獄指令、拒絕回答刻板印象、仇恨問題等；3）包括Clip在內(nèi)的優(yōu)質(zhì)聯(lián)合訓(xùn)練數(shù)據(jù)；4）并行計(jì)算策略和達(dá)到175B參數(shù)Davinci模型3倍的推理成本。
Google：從Palm到Gemini，應(yīng)用發(fā)布值得期待。1）此前google發(fā)布了562B參數(shù)的多模態(tài)大模型Palm-E，可以理解圖像，還能理解、生成語言，且可以用于多個具體任務(wù)，包括順序機(jī)器人操作規(guī)劃、視覺問題解答和圖像視頻字幕描述；2）目前業(yè)界對于后續(xù)即將發(fā)布的新模型Gemini期待，業(yè)界猜測訓(xùn)練Gemini的硬件FLOPS將超過1e26，比訓(xùn)練GPT-4的算力大5倍，訓(xùn)練總數(shù)據(jù)集大小約為GPT-4的兩倍。
無論Open AI還是Google，都在AI架構(gòu)、Prompt、RLHF、安全、數(shù)據(jù)、計(jì)算資源等多個方面多做出努力。相比單模態(tài)大模型，多模態(tài)的進(jìn)入門檻更高。因此在上市公司層面，我們認(rèn)為后續(xù)應(yīng)當(dāng)更加重點(diǎn)關(guān)注應(yīng)用環(huán)節(jié)。
推薦標(biāo)的：1）展現(xiàn)應(yīng)用提價能力：金山辦公、福昕軟件；2）多模態(tài)核心受益：萬興科技、大華股份、虹軟科技、科大訊飛。
風(fēng)險提示：大模型技術(shù)中美仍存在差異，部分技術(shù)尚處于早期實(shí)驗(yàn)室階段，存在落地風(fēng)險；實(shí)體清單等可能對訓(xùn)練硬件產(chǎn)生影響。
|
|
