久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

PaLM-E：具身化的多模態(tài)大語(yǔ)言模型
　　PaLM-E是由谷歌于3月6日提出的最新大語(yǔ)言模型，其特點(diǎn)在于引入具身化和多模態(tài)概念。具身化指的是在機(jī)器學(xué)習(xí)中涉及物理實(shí)體，對(duì)應(yīng)PaLM-E指導(dǎo)現(xiàn)實(shí)的機(jī)器人完成相應(yīng)任務(wù)；多模態(tài)指的是PaLM-E在模型輸入中嵌入了文本、圖像、具身數(shù)據(jù)等信息。PaLM-E的核心思想在于，通過(guò)將多模態(tài)信息編碼為與語(yǔ)言相似的形式，嵌入已有的PaLM模型，實(shí)現(xiàn)多模態(tài)的聯(lián)合訓(xùn)練。其中，規(guī)模最大的PaLM-E參數(shù)達(dá)5620億，是目前最大的視覺(jué)語(yǔ)言模型。從訓(xùn)練結(jié)果看，PaLM-E具有很強(qiáng)的泛化和遷移能力，不僅能完成機(jī)器人具身推理任務(wù)，還能完成常規(guī)的視覺(jué)語(yǔ)言任務(wù)和通用語(yǔ)言任務(wù)。
　　PaLM-E解決了機(jī)器學(xué)習(xí)的grounding問(wèn)題
　　機(jī)器學(xué)習(xí)的grounding問(wèn)題，指的是如何將抽象的符號(hào)或概念與真實(shí)世界的物體或事件聯(lián)系起來(lái)的問(wèn)題。例如，讓機(jī)器學(xué)習(xí)模型將“蘋(píng)果”這個(gè)詞與“具有形狀、顏色、味道等屬性的水果”相關(guān)聯(lián)。已有的很多模型是基于文本數(shù)據(jù)訓(xùn)練，沒(méi)能與真實(shí)世界的視覺(jué)和物理傳感器模態(tài)建立良好聯(lián)系，且多模態(tài)輸入尚未普及，限制了模型在現(xiàn)實(shí)世界中的推理能力。PaLM-E通過(guò)將圖像、文字、具身數(shù)據(jù)聯(lián)合訓(xùn)練，并引入多模態(tài)輸入，增強(qiáng)了模型對(duì)現(xiàn)實(shí)中對(duì)象的理解，實(shí)現(xiàn)了機(jī)器人處理具身推理任務(wù)，較好解決了grounding問(wèn)題。
　　編碼器是實(shí)現(xiàn)多模態(tài)輸入的關(guān)鍵
　　對(duì)應(yīng)不同類別的多模態(tài)，需要分別設(shè)計(jì)不同類型的編碼器進(jìn)行編碼。根據(jù)多模態(tài)的種類，PaLM-E涉及的編碼器主要包括：1）狀態(tài)估計(jì)向量，實(shí)現(xiàn)物體位置、尺寸和顏色等狀態(tài)信息編碼；2）ViT：實(shí)現(xiàn)2D圖像編碼；3）對(duì)象為中心的表示：實(shí)現(xiàn)對(duì)視覺(jué)輸入中各對(duì)象的編碼；4）OSRT：實(shí)現(xiàn)對(duì)3D場(chǎng)景的編碼；5）實(shí)體引用：實(shí)現(xiàn)對(duì)難以用自然語(yǔ)言表述的對(duì)象的指代。完成編碼后，即可注入已有模型進(jìn)行訓(xùn)練和下游任務(wù)執(zhí)行。
　　PaLM-E以“在環(huán)路”的方式指導(dǎo)現(xiàn)實(shí)機(jī)器人完成具身任務(wù)
　　PaLM-E訓(xùn)練數(shù)據(jù)集包含數(shù)十個(gè)子訓(xùn)練集，涉及視覺(jué)、語(yǔ)言和具身數(shù)據(jù)。由于以往的LLM在具身研究和相應(yīng)數(shù)據(jù)集積累上較少，因此訓(xùn)練集中的具身數(shù)據(jù)占比僅8.9%。在實(shí)際執(zhí)行任務(wù)時(shí)，PaLM-E以“在環(huán)路”的方式，一步一步指導(dǎo)機(jī)器人操作，并根據(jù)機(jī)器人的反饋調(diào)節(jié)輸出指令。在任務(wù)與運(yùn)動(dòng)規(guī)劃、桌面環(huán)境操作和移動(dòng)操作等具身任務(wù)中，PaLM-E能在部分仿真任務(wù)上取得優(yōu)于SOTA的結(jié)果，并成功指導(dǎo)現(xiàn)實(shí)中機(jī)器人完成長(zhǎng)期任務(wù)。
　　PaLM-E同樣在視覺(jué)/語(yǔ)言任務(wù)上取得較好效果
　　雖然完成機(jī)器人具身任務(wù)是PaLM-E模型研究的重點(diǎn)，但是經(jīng)過(guò)文本、圖像和具身混合數(shù)據(jù)集聯(lián)合訓(xùn)練后，PaLM-E同時(shí)獲得了良好的通用視覺(jué)語(yǔ)言任務(wù)處理能力，甚至在某些測(cè)試集中取得了優(yōu)于微調(diào)模型的結(jié)果。但是，在自然語(yǔ)言生成等通用語(yǔ)言任務(wù)上，多模態(tài)訓(xùn)練使得小參數(shù)規(guī)模的PaLM-E存在災(zāi)難性遺忘問(wèn)題，PaLM-E-12B相比其原版PaLM-8B的自然語(yǔ)言生成性能下降87.3%。不過(guò)，可以通過(guò)增加模型參數(shù)量實(shí)現(xiàn)性能改善。當(dāng)模型參數(shù)增大到PaLM-E-562B時(shí)，性能僅下降3.9%。
　　風(fēng)險(xiǎn)提示：宏觀經(jīng)濟(jì)波動(dòng)，技術(shù)進(jìn)步不及預(yù)期。本報(bào)告內(nèi)容均基于客觀信息整理，不構(gòu)成投資建議。