>> 浙商證券-互聯(lián)網(wǎng)電商行業(yè)點評報告:谷歌發(fā)布史上最大「通才」模型PaLM-E,參數(shù)達ChatGPT三倍-230309
| 上傳日期: |
2023/3/10 |
大?。?/td>
| 655KB |
| 格式: |
pdf 共2頁 |
來源: |
浙商證券 |
| 評級: |
看好 |
作者: |
謝晨,陳磊 |
| 行業(yè)名稱: |
互聯(lián)網(wǎng) |
| 下載權(quán)限: |
此報告為加密報告,僅限高級會員查看 |
|
|
投資要點 事件: 3月6日,Robotics at Google、柏林工業(yè)大學和Google Research團隊聯(lián)合發(fā)布了PaLM-E,其參數(shù)量高達5620億。作為一種多模態(tài)視覺語言模型(VLM),它集成了控制機器人視覺和語言的能力,可以直接將現(xiàn)實世界的連續(xù)傳感器模式納入已經(jīng)預訓練好的LLM中,在單詞和感知(words and percepts)之間建立聯(lián)系,從而用于連續(xù)的機器人操作規(guī)劃、視覺問題回答和字幕生成等多項具身任務中。與ChatGPT相比,它新增了視覺功能。此外,谷歌稱該模型還具備一定彈性,能夠?qū)χ苓叚h(huán)境作出適應性反應,應對可能出現(xiàn)的意外狀況。 點評:AI大廠的對戰(zhàn)處于白熱化階段,有利于推動技術(shù)快速發(fā)展,并拓展包括IOT等多元化應用領(lǐng)域,行業(yè)景氣度進一步提升。 1、AI對戰(zhàn)從語言模型擴展到多模態(tài)乃至通才。PaLM-E借鑒了谷歌之前在VIT22B上的工作,后者是谷歌在上月公布的一款視覺語言模型,已經(jīng)在各種視覺任務上進行了訓練,例如圖像分類、目標檢測、語義分割和圖像字幕等。同時,微軟也在“圖像+語言模型”的路徑上積極布局:在今年2月底發(fā)表的研究中,微軟展現(xiàn)了如何使用ChatGPT為大疆Tello無人機編寫“找飲料”程序的案例;微軟最近發(fā)布的“ChatGPTforRobotics”論文,就嘗試以類似于谷歌PaLM-E的方式將視覺數(shù)據(jù)和大型語言模型結(jié)合起來,對機器人進行控制。 2、模型的規(guī)模競賽仍在繼續(xù)。作為史上最大的“通才”模型,PaLM-E的參數(shù)(5620億)是ChatGPT參數(shù)量(1750億)的三倍有余。語言模型越大,在視覺語言與機器人任務的訓練中,保持的語言能力就越強,擁有5620億參數(shù)的PaLM-E幾乎保持了它所有的語言能力。得益于PaLM-E的大語言模型核心,谷歌研究人員觀察到,其表現(xiàn)出了“正遷移”能力,意味著它能把一項任務中學到的知識和技能遷移至另一項任務,而且與單任務機器人模型相比具有“明顯更高的性能水平”。 3、強悍的語言能力是核心。工作原理上,PaLM-E是一個僅有解碼器的大型語言模型(LLM),在給定前綴(prefix)或提示(prompt)下,能夠以自回歸方式生成文本補全。其訓練數(shù)據(jù)為包含視覺、連續(xù)狀態(tài)估計和文本輸入編碼的多模式語句。由于PaLM-E是基于語言模型,所以它會連續(xù)觀察圖像或傳感器數(shù)據(jù),并將其編碼成與語言符號大小相同的向量序列,這使得模型能夠以處理語言的相同方式“理解”感覺信息,為PaLM-E擴展更多應用場景打下堅實基礎(chǔ)。 風險提示 監(jiān)管風險;技術(shù)發(fā)展不及預期風險;版權(quán)風險。
|
|