>> 浦銀國(guó)際-AIGC行業(yè)趨勢(shì)：Sora橫空出世，向多模態(tài)應(yīng)用加速邁進(jìn)-240221
| 上傳日期： |
2024/2/22 |
大?。?/td>
| 1044KB |
| 格式： |
pdf 共5頁(yè) |
來(lái)源： |
浦銀國(guó)際 |
| 評(píng)級(jí)： |
-- |
作者： |
趙丹,楊子超 |
| 下載權(quán)限： |
無(wú)限制-登錄即可下載 |
|
|
近期，OpenAI的Sora的橫空出世再一次引發(fā)市場(chǎng)對(duì)AIGC的關(guān)注，文生視頻領(lǐng)域取得重大突破，效果遠(yuǎn)超預(yù)期。我們將圍繞Sora的核心優(yōu)勢(shì)、技術(shù)特點(diǎn)、行業(yè)影響、未來(lái)趨勢(shì)等方面進(jìn)行闡述。
相較于此前的文生視頻模型，Sora取得哪些突破？
近期，OpenAI發(fā)布了文生視頻模型Sora，可以用文字指令生成長(zhǎng)達(dá)1分鐘的高清視頻。相較于此前市場(chǎng)上的同類模型，如Runway、Pika等，Sora的生成效果有大幅提升，遠(yuǎn)超預(yù)期：首先，視頻長(zhǎng)度方面，Sora可以生成長(zhǎng)達(dá)60秒的視頻，長(zhǎng)度遠(yuǎn)遠(yuǎn)大于其他AI視頻模型的幾秒鐘長(zhǎng)度。
其次，Sora在視頻內(nèi)容質(zhì)量穩(wěn)定性方面有大幅的提升，鏡頭多角度切換，視頻中的主角和背景能夠保持高度一致性和穩(wěn)定性。
此外，Sora還展示了其對(duì)物理世界部分規(guī)律的理解，這也是一重大突破，甚至能夠?qū)崿F(xiàn)一定程度的物理交互。
Sora的核心優(yōu)勢(shì)和技術(shù)特點(diǎn)體現(xiàn)在哪些方面？
Sora的技術(shù)優(yōu)勢(shì)在于“Patches”和深度語(yǔ)言理解。Sora是一個(gè)在不同時(shí)長(zhǎng)、分辨率和寬高比的視頻及圖像上訓(xùn)練而成的擴(kuò)散模型，同時(shí)采用了Transformer架構(gòu)。Sora模型的技術(shù)優(yōu)勢(shì)和特點(diǎn)主要在于：
視覺(jué)數(shù)據(jù)Patches化：相較于大語(yǔ)音模型把所有的文本、符號(hào)、代碼都抽象為Tokens，Sora則把視頻抽象為Patches（補(bǔ)片），是一種具備高度擴(kuò)展性且適用于視頻和圖片生成式模型訓(xùn)練的有效表示（圖表1）；
視頻壓縮網(wǎng)絡(luò)（Video compression network）：將原始視頻進(jìn)行壓縮，從而降低視覺(jué)數(shù)據(jù)維度，用于訓(xùn)練并生成視頻；
時(shí)空補(bǔ)片技術(shù)（Spacetime latent patches）：給定一個(gè)壓縮的輸入視頻，模型提取一系列時(shí)空補(bǔ)片（patches），用于對(duì)不同分辨率、時(shí)長(zhǎng)和長(zhǎng)寬比的視頻和圖像進(jìn)行訓(xùn)練；
擴(kuò)展Transformer視頻生成：Sora是一個(gè)擴(kuò)散Transformer模型，通過(guò)輸入噪聲patches訓(xùn)練來(lái)預(yù)測(cè)除噪的原始patches。OpenAI在這項(xiàng)研究中發(fā)現(xiàn)，擴(kuò)散型Transformer同樣能在視頻模型領(lǐng)域中完成高效擴(kuò)展（圖表2）；
視頻多樣化：相較于一些模型使用標(biāo)準(zhǔn)尺寸視頻用于訓(xùn)練或生成，Sora能夠處理不同分辨率、時(shí)長(zhǎng)、寬高比的視頻，在采樣靈活性、改進(jìn)框架和構(gòu)圖方面有顯著優(yōu)勢(shì)；
語(yǔ)言理解：基于GPT模型的深度語(yǔ)言理解，能夠更加準(zhǔn)確地理解提示詞所表達(dá)的真實(shí)需求；
圖生視頻、視頻生視頻：除了文生視頻外，Sora也能夠通過(guò)輸入圖像和視頻用于生成視頻，能夠?qū)崿F(xiàn)靜態(tài)圖片動(dòng)態(tài)化、視頻向前和向后拓展、視頻編輯等能力（圖表3）。
Sora模型對(duì)哪些行業(yè)影響更大？
Sora最直接的影響主要是對(duì)視頻行業(yè)造成沖擊，這將對(duì)于廣告業(yè)、電影預(yù)告片、短視頻行業(yè)以及游戲帶來(lái)顛覆。Sora大大降低了視頻制作的門檻和成本。
對(duì)于國(guó)內(nèi)AI創(chuàng)業(yè)公司的影響：和ChatGPT一樣，我們認(rèn)為Sora的出現(xiàn)也會(huì)吸引國(guó)內(nèi)玩家追隨，但由于文生視頻模型的訓(xùn)練難度和成本更大，準(zhǔn)入門檻也進(jìn)一步提高。
Sora影響最大的將是短視頻行業(yè)，未來(lái)或?qū)O大地提升內(nèi)容供給及創(chuàng)作質(zhì)量，尤其是流量熱點(diǎn)驅(qū)動(dòng)的內(nèi)容，或?qū)⑦M(jìn)入“全民創(chuàng)作”時(shí)代。同時(shí)，文生視頻技術(shù)或?qū)楫?dāng)下熱門的短劇市場(chǎng)帶來(lái)變數(shù)，短劇重心有望回歸高質(zhì)量劇本創(chuàng)作。
長(zhǎng)視頻由于對(duì)內(nèi)容質(zhì)量等專業(yè)化要求較高，AI生成視頻在精準(zhǔn)度、可編輯性等方面仍需進(jìn)一步打磨，高額的成本也或是短期應(yīng)用落地阻礙，但長(zhǎng)期來(lái)看其未來(lái)發(fā)展空間足夠廣闊。
對(duì)于游戲行業(yè)，Sora模型有助于進(jìn)一步提高開發(fā)效率。文生視頻能力可降低游戲CG和PV制作成本，可用于豐富游戲劇情和故事情節(jié)，提升玩家代入感。
視頻相較于文字而言，對(duì)于算力的需求將會(huì)是幾何式的增長(zhǎng)。我們認(rèn)為算力限制可能是影響文生視頻類應(yīng)用開放使用的重要因素。
2024年AIGC行業(yè)有哪些趨勢(shì)？
多模態(tài)模型或在2024年迎來(lái)爆發(fā)。此前大模型在各個(gè)領(lǐng)域的應(yīng)用，主要集中在文生文、文生圖之上，而在文生視頻領(lǐng)域卻進(jìn)步緩慢。此次文生視頻模型Sora的發(fā)布，將給長(zhǎng)短視頻，游戲和廣告行業(yè)帶來(lái)顛覆性創(chuàng)新。隨著文生圖、圖片對(duì)話技術(shù)的成熟，文生視頻已成為多模態(tài)大模型下一步發(fā)展的重點(diǎn)。大模型領(lǐng)域的競(jìng)爭(zhēng)將進(jìn)一步白熱化，多模態(tài)大模型將成為生成式AI的重點(diǎn)發(fā)展方向，并有望推動(dòng)本輪AI行情進(jìn)一步擴(kuò)散。
除了在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等特定領(lǐng)域模型的發(fā)展，多模態(tài)大模型的進(jìn)一步交叉融合或?qū)⒊蔀槲磥?lái)重要的應(yīng)用方向。未來(lái)人與機(jī)器之間的交互方式將更加豐富，或通過(guò)文字、視覺(jué)、語(yǔ)音等多維度溝通，進(jìn)而提升效率。AI所創(chuàng)造的虛擬世界與現(xiàn)實(shí)世界的邊界逐漸模糊，逐漸向AGI方向邁進(jìn)。
投資風(fēng)險(xiǎn)：行業(yè)監(jiān)管，內(nèi)容合規(guī)，成本控制，商業(yè)模式。
|
|
