>> 德邦證券-傳媒行業(yè)點(diǎn)評：Sora發(fā)布有望加速AI視頻技術(shù)迭代進(jìn)程，持續(xù)關(guān)注AI應(yīng)用的商業(yè)化落地-240311
| 上傳日期： |
2024/3/11 |
大小： |
318KB |
| 格式： |
pdf 共3頁 |
來源： |
德邦證券 |
| 評級： |
優(yōu)于大市 |
作者： |
馬笑 |
| 行業(yè)名稱： |
傳媒 |
| 下載權(quán)限： |
無限制-登錄即可下載 |
|
|
從Sora效果來看，“一致性”迎來突破，“真實(shí)性”有望增強(qiáng)。2023年，基于Diffusion的視頻生成模型密集發(fā)布，例如Gen-2、Pika、SVD等，但主要的瓶頸在于一致性，生成的人物和場景無法在每一幀中保持一致，因此應(yīng)用落地有限。同時，模型單次生成的視頻時長最長為18秒，雖然支持通過預(yù)測延長視頻，但延長后的視頻通常缺乏一致性和邏輯性。根據(jù)Sora發(fā)布的Demo，模型在一致性方面獲得巨大突破。1）3D一致性：Sora可以生成攝像機(jī)動態(tài)運(yùn)動的視頻，隨著攝像機(jī)的移動和旋轉(zhuǎn)，人物和場景元素在3D空間中的移動會保持一致。2）長期連續(xù)性：Sora經(jīng)常（并非總是）能夠有效地模擬短距離和長距離依賴關(guān)系。例如，即使人、動物和物體被遮擋或離開畫面，也能保持它們的存在。3）對象永恒性：Sora能在單個樣本中生成同一角色的多個鏡頭，并在整個視頻中保持其外觀。真實(shí)性方面，當(dāng)與物理世界產(chǎn)生互動，Sora有時可以模擬一些影響世界狀態(tài)的簡單動作。例如，畫家可以在畫布上留下新的筆觸，并隨著時間的推移而持續(xù)；或者一個人在吃一個漢堡時，留下咬痕。雖然目前Sora的模擬尚有局限，不能準(zhǔn)確地模擬許多基本交互的物理現(xiàn)象，但我們認(rèn)為未來有望不斷趨近真實(shí)場景。
技術(shù)層面，在Diffusion基礎(chǔ)上，以Transformer替代傳統(tǒng)U-Net架構(gòu)或進(jìn)一步提升效果。我們認(rèn)為，Transformer的核心優(yōu)勢在于：1）訓(xùn)練數(shù)據(jù)兼容性提升。傳統(tǒng)的U-Net架構(gòu)對于視頻的尺寸有限制，所有視頻規(guī)格需統(tǒng)一，換言之，不可避免裁剪帶來的信息丟失；而Transformer對于視頻尺寸的兼容性更好，Sora可以采樣寬屏1920x1080p視頻、豎屏1080x1920視頻以及兩者之間的所有類型。優(yōu)勢在于，一是訓(xùn)練層面，保留原生視頻尺寸，可以保持自然和連貫的視覺敘事，獲得更好的效果；二是輸出層面，生成的視頻可以兼容不同的設(shè)備類型。為了將所有類型的視覺數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的表示，Sora使用patches作為其表示方式，類似于LLM中的tokens。2）符合Scaling Law。Scaling Law的含義為，隨著模型大小、數(shù)據(jù)集大小和用于訓(xùn)練的計算浮點(diǎn)數(shù)的增加，模型的性能會提高。在LLM的研究中，OpenAI已經(jīng)論證過Transformer符合Scaling Law，因此將Transformer遷移到LVM中，視頻模型亦可“大力出奇跡”。
高質(zhì)量數(shù)據(jù)是Sora性能提升的另一關(guān)鍵因素。一方面，OpenAI將DALL·E 3引入的re-captioning技術(shù)應(yīng)用到視頻中。一是訓(xùn)練一個高度描述性的標(biāo)題模型，然后使用它為訓(xùn)練集中的所有視頻生成文本標(biāo)題，以此提高文本的準(zhǔn)確性以及視頻的整體質(zhì)量。二是利用GPT將用戶的簡短Prompt轉(zhuǎn)換為更詳細(xì)的長標(biāo)題，然后將其發(fā)送給視頻模型，因此Sora可以準(zhǔn)確地遵循用戶的提示。另一方面，根據(jù)英偉達(dá)科學(xué)家Jim Fan推測，可能通過UE5等大量生成了合成數(shù)據(jù)作為訓(xùn)練集，以此獲得模擬物理世界的能力。
影視應(yīng)用落地開啟，國內(nèi)AI動畫已率先落地。2月26日晚間，國內(nèi)首部文生視頻AI動畫片《千秋詩頌》在央視綜合頻道開播，從美術(shù)設(shè)計到動效生成，再到后期成片，該片均為AIGC輔助制作。技術(shù)方面，依托總臺海量視聽數(shù)據(jù)以及上海人工智能實(shí)驗(yàn)室的多項AI技術(shù)，包括視頻生成大模型-書生·筑夢、文生視頻框架-AnimateDiff及多項可控圖像生成、圖像驅(qū)動等技術(shù)。AI賦能后，制作效率提升3倍。根據(jù)團(tuán)隊描述，在同等預(yù)算條件下，按照傳統(tǒng)動畫制作流程計算，類似《千秋詩頌》這樣的動畫片，一個月只能做一集；現(xiàn)在一個月可以做三集。
海外方面，AI生成作品已登陸銀幕，應(yīng)用工具逐步優(yōu)化。3月6日，《終結(jié)者2》翻拍作品《我們的終結(jié)者2重制版（Our T2 Remake）》在洛杉磯首映。其創(chuàng)作團(tuán)隊由50位AI領(lǐng)域藝術(shù)家組成，利用Midjourney、Runway、Pika、Kaiber、Eleven Labs、ComfyUi、Adobe等多個AIGC工具進(jìn)行創(chuàng)作，不使用原電影中的任何鏡頭、對話或音樂，確?！禣ur T2 Remake》所有內(nèi)容均為原創(chuàng)。以色列初創(chuàng)公司Lightricks發(fā)布了一款A(yù)I驅(qū)動的電影生成和剪輯軟件——LTXStudio，通過文字就能直接生成復(fù)雜的劇情，包含語音、音效、視頻畫面。LTXStudio重新定義了視頻制作的工作流，其中包括自動編寫腳本工具、調(diào)整多鏡頭的場景控制工具、保證角色一致性的工具、攝像機(jī)控制、一鍵編輯等。公司將在3月27日正式上線該平臺。我們認(rèn)為，伴隨技術(shù)層面模型的迭代和應(yīng)用層面工作流的優(yōu)化，AI在影視領(lǐng)域的可用性提升。然而，在當(dāng)前技術(shù)節(jié)點(diǎn)，由于一致性問題尚未完全解決，對重要人物和場景事先建?；?yàn)橹虚g階段的最優(yōu)解。同時，從專業(yè)影視角度，另一難點(diǎn)在于可控性，特別是針對鏡頭畫面，例如鏡頭軌跡等。后續(xù)一致性、可控性的提升或是技術(shù)優(yōu)化迭代的關(guān)鍵。
建議關(guān)注相關(guān)受益標(biāo)的：我們認(rèn)為，1）AI生成視頻領(lǐng)域進(jìn)程加速，技術(shù)有望從“預(yù)覽級”升級為“成品級”。建議關(guān)注AI視頻技術(shù)與工具及落地應(yīng)用場景相關(guān)公司：【萬興科技，昆侖萬維，美圖公司，湯姆貓，風(fēng)語筑等】等。2）動畫領(lǐng)域應(yīng)用已落地，降本增效顯著。我們認(rèn)為AI時代動畫領(lǐng)域的主要壁壘在于動畫數(shù)據(jù)積累以及
|
|
