久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

信息異構(gòu)，數(shù)據(jù)升維。人類日常生活中的自然語言、語氣、手勢和眼神，這些不同的表達形式和對方的感知形式，就是不同的模態(tài)，這種多模態(tài)對齊到“0-1”世界中，就是文字、圖像&視頻、音頻信息甚至物理化學(xué)公式，而這些信息之間形成了相似、補充或互斥的關(guān)系，這種相互關(guān)系在AI預(yù)訓(xùn)練時會對多模態(tài)的表現(xiàn)產(chǎn)生重大影響。
　　多模態(tài)AI的輸入和輸出超出了單一的文字維度，對AI既是機遇也是挑戰(zhàn)。機遇在于，多模態(tài)信息可以幫助AI更精確地了解人類世界，在作答時就可以輸出更加貼近現(xiàn)實、符合預(yù)期的回答。如同失聰者同時難以說話，AI獲取的信息若不是多模態(tài)，就只能停留在文字?jǐn)?shù)據(jù)給予的單一維度認(rèn)知。不同模態(tài)之間的相互作用有多種方式，正反饋例如，若將一張人類跑步的圖片、一段描述“跑步”的文字、力學(xué)定律等輸入至AI，那么AI就可以獲得對“跑步”這一行為的增強理解；負反饋例如，在文字訓(xùn)練數(shù)據(jù)出現(xiàn)錯誤時，其他模態(tài)的數(shù)據(jù)可以幫助AI輔助判斷對錯，從源頭減少AI“幻覺”的產(chǎn)生。
　　多模態(tài)的挑戰(zhàn)集中于數(shù)據(jù)、算力和調(diào)優(yōu)。首先是多模態(tài)數(shù)據(jù)的融合，進一步增加了算力資源的壓力。例如，一段文字和一張圖片里都包含“1+1=2”的信息，這種情況可以為二者給予相同的訓(xùn)練權(quán)重；如果包含更加復(fù)雜的信息，簡單的信息融合將失效，就需要引入張量融合算法，從而占據(jù)一部分算力資源。其次，數(shù)據(jù)的對齊對不同模態(tài)之間的協(xié)調(diào)起著關(guān)鍵作用。今年3月發(fā)布的GPT-4模型能夠識別搞笑圖片中的笑點所在，就是由于OpenAI做好了充分的文字與圖片的數(shù)據(jù)對齊。訓(xùn)練數(shù)據(jù)越優(yōu)質(zhì)，模型后續(xù)訓(xùn)練需要的人類反饋學(xué)習(xí)就越少，從而縮短模型研發(fā)周期——谷歌發(fā)布Gemini模型時表示，高性能的Ultra版本目前尚在RLHF階段，因此推出時間稍晚。
　　多模態(tài)AI的發(fā)展，不僅利于影視創(chuàng)作、游戲制作行業(yè)的生產(chǎn)效率提升，同時也有利于逐步打消業(yè)界對AI能力的懷疑。Pika 1.0、Gemini的發(fā)布提振了用戶的信心——Pika有效解決了多模態(tài)大模型生成視頻時幀連續(xù)性的問題，輸出結(jié)果堪稱驚艷，而Gemini原生基于多模態(tài)打造，有效解決了多模態(tài)數(shù)據(jù)融合的問題，相當(dāng)于AI“新物種”；同時，Gemini背靠谷歌自研算力和谷歌云的原生海量的圖片和多語言數(shù)據(jù)，在起點處占據(jù)優(yōu)勢。AI并未停下腳步，通向AGI的星辰大海正在拉開帷幕。
　　算力——
　　光通信：中際旭創(chuàng)、新易盛、天孚通信、太辰光、騰景科技、光庫科技、光迅科技、德科立、聯(lián)特科技、華工科技、源杰科技、劍橋科技、銘普光磁。算力調(diào)優(yōu)/調(diào)度/租賃：恒為科技、思特奇、中科金財、東方材料、博睿數(shù)據(jù)、中貝通信、中科曙光、中國移動、中國聯(lián)通、中國電信。算力設(shè)備：中興通訊、紫光股份、銳捷網(wǎng)絡(luò)、盛科通信、菲菱科思、工業(yè)富聯(lián)、寒武紀(jì)、震有科技。液冷：英維克、申菱環(huán)境、高瀾股份、佳力圖。邊緣算力承載平臺：美格智能、廣和通、移遠通信、初靈信息、龍宇股份、網(wǎng)宿科技、佳訊飛鴻。衛(wèi)星通信：中國衛(wèi)通、中國衛(wèi)星、震有科技、華力創(chuàng)通、電科芯片、海格通信。
　　數(shù)據(jù)要素——
　　運營商：中國電信、中國移動、中國聯(lián)通。數(shù)據(jù)可視化：浩瀚深度、恒為科技、中新賽克。BOSS系統(tǒng)：亞信科技、天源迪科、東方國信。
　　風(fēng)險提示：AI發(fā)展不及預(yù)期，算力需求不及預(yù)期，市場競爭風(fēng)險。