久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

核心觀點(diǎn)：Transformer顛覆了傳統(tǒng)深度學(xué)習(xí)模型，但僅限于文本，ViT打通了Transformer與CV領(lǐng)域的壁壘，BEiT模型將生成式預(yù)訓(xùn)練引入CV領(lǐng)域，基于ViT的多模態(tài)模型涌現(xiàn)。多模態(tài)已經(jīng)在多個(gè)領(lǐng)域中得到廣泛應(yīng)用，如虛擬人、智能座艙、機(jī)器人等，各式應(yīng)用持續(xù)推動(dòng)多模態(tài)模型的演進(jìn)。近期OpenAI發(fā)布能處理圖像和文本的多模態(tài)模型GPT-4，引發(fā)關(guān)注，隨著底座模型推出，上層應(yīng)用預(yù)計(jì)將會(huì)涌現(xiàn)，催生巨大商業(yè)市場，我們建議關(guān)注。
　　ViT打通了Transformer與CV領(lǐng)域的壁壘，BEiT模型將生成式預(yù)訓(xùn)練引入CV領(lǐng)域。Transformer的出現(xiàn)顛覆傳統(tǒng)深度學(xué)習(xí)模型，BERT等證明了Transformer在NLP領(lǐng)域的優(yōu)秀表現(xiàn)。然而傳統(tǒng)的Transformer模型只適用于單模態(tài)文本，ViT模型將patch embedding引入Transformer，打通了Transformer與CV領(lǐng)域的壁壘。以ViT為基礎(chǔ)的多模態(tài)模型如雨后春筍般涌現(xiàn)，以文圖多模態(tài)為主，視頻領(lǐng)域也產(chǎn)生了許多基于ViT的模型。生成式預(yù)訓(xùn)練被證明在自然語言處理領(lǐng)域有著廣泛的應(yīng)用，BEiT模型將生成式預(yù)訓(xùn)練引入CV領(lǐng)域，實(shí)現(xiàn)了CV領(lǐng)域大規(guī)模自監(jiān)督預(yù)訓(xùn)練。
　　多模態(tài)發(fā)展經(jīng)歷五個(gè)階段，包括行為時(shí)代、計(jì)算時(shí)代、交互時(shí)代、深度學(xué)習(xí)時(shí)代和大模型時(shí)代。多模態(tài)交互、感知、內(nèi)容分發(fā)等應(yīng)用已涉及多個(gè)方面，包括多模態(tài)檢索、虛擬人、智能人、智能座艙、語音助手等。擴(kuò)散模型等和多模態(tài)模型的結(jié)合催生了文生圖任務(wù)的火爆。各式多模態(tài)場景下的應(yīng)用持續(xù)推動(dòng)多模態(tài)模型的演進(jìn)。
　　多模態(tài)預(yù)訓(xùn)練大模型核心要素包括：對圖文編碼、設(shè)置學(xué)習(xí)目標(biāo)、模型結(jié)構(gòu)、模態(tài)融合等。多模態(tài)預(yù)訓(xùn)練模型首先要將圖文進(jìn)行編碼，文字端有成熟的BERT等模型進(jìn)行處理，圖像特征基于Patch提取更加高效。學(xué)習(xí)目標(biāo)是多模態(tài)預(yù)訓(xùn)練大模型重要一環(huán)，包括圖文對比、編碼語言模型、圖文匹配等，模型可以使用不同的學(xué)習(xí)目標(biāo)產(chǎn)生不同學(xué)習(xí)效果。多模態(tài)預(yù)訓(xùn)練大模型結(jié)果主要分為encoder-only和encoder-decoder，常見的是encoderonly模型，用于圖文檢索等任務(wù)，而后者適用于生成任務(wù)。根據(jù)模態(tài)融合方式不同，又可以分為fusion encoder和dual encoder模型，前者通過混合方式對模態(tài)進(jìn)行處理，能夠?qū)W習(xí)到不同模態(tài)之間的隱藏的知識(shí)，適合推理，后者分別對模態(tài)進(jìn)行處理，適合檢索等任務(wù)。
　　多模態(tài)預(yù)訓(xùn)練大模型未來將更加統(tǒng)一。雖然BEiT-3等統(tǒng)一模型將各種任務(wù)統(tǒng)一起來，但實(shí)際上僅僅是將幾個(gè)任務(wù)的模塊累加起來得到的，并非真正意義上的“統(tǒng)一”。未來，以微軟發(fā)布的KOSMOS-1和谷歌發(fā)布的PaLM-E，將不同模態(tài)統(tǒng)一編碼為文本模式或者使用通才模型統(tǒng)一下游任務(wù)使多模態(tài)預(yù)訓(xùn)練大模型走向統(tǒng)一。
　　多模態(tài)大模型正處于蓬勃發(fā)展階段，隨著底座模型的推出，上層應(yīng)用預(yù)計(jì)將會(huì)涌現(xiàn)，催生巨大商業(yè)市場，我們建議關(guān)注，尤其關(guān)注當(dāng)前多模態(tài)大模型的推出情況。
　　風(fēng)險(xiǎn)提示
　　多模態(tài)模型技術(shù)發(fā)展不及預(yù)期:多模態(tài)屬于先進(jìn)AI算法，若后續(xù)算法更新迭代效果不及預(yù)期，則會(huì)影響多模態(tài)演進(jìn)及拓展，進(jìn)而會(huì)影響其商業(yè)化落地等;
　　算法隱私問題:多模態(tài)預(yù)訓(xùn)練大模型在進(jìn)行預(yù)訓(xùn)練過程中，使用了大量數(shù)據(jù)，很多都是從網(wǎng)絡(luò)上直接獲得的圖文數(shù)據(jù)對，其中會(huì)涉及相關(guān)隱私問題;
　　算力基礎(chǔ)設(shè)施支持不及預(yù)期:美國制裁中國高科技企業(yè)，對中國形成芯片、算力的封鎖，大語言模型訓(xùn)練過程中需要大量算力資源，需要關(guān)注中美關(guān)系帶來的中國算力的壓力;
　　數(shù)據(jù)數(shù)量與數(shù)據(jù)質(zhì)量不及預(yù)期:大型語言模型需要大量的高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練，若數(shù)據(jù)數(shù)量和質(zhì)量存在短板，則會(huì)影響大語言模型效果;
　　倫理沖突風(fēng)險(xiǎn):多模態(tài)大模型技術(shù)將進(jìn)一步推動(dòng)人工智能邁向通用型人工智能，人工智能進(jìn)一步智能化將產(chǎn)生人工智能欺騙、人工智能上癮、人與人工智能之間的關(guān)系等一些列倫理問題。