>> 華泰證券-計算機(jī)行業(yè)專題研究-RT-2：谷歌具身智能新突破-230803
| 上傳日期： |
2023/8/3 |
大?。?/td>
| 1791KB |
| 格式： |
pdf 共11頁 |
來源： |
華泰證券 |
| 評級： |
增持 |
作者： |
謝春生 |
| 行業(yè)名稱： |
計算機(jī) |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
具身智能：AI的下一個浪潮
2023年5月，英偉達(dá)CEO黃仁勛表示，AI下一個浪潮將是“具身智能”。微軟、Google、英偉達(dá)等大廠均開展了相關(guān)研究。微軟基于ChatGPT的強(qiáng)大自然語言理解和推理能力，生成控制機(jī)器人的相關(guān)代碼。英偉達(dá)VIMA基于T5模型，將文本和多模態(tài)輸入交錯融合，結(jié)合歷史信息預(yù)測機(jī)器人的下一步行動動作。斯坦福大學(xué)利用LLM的理解、推理和代碼能力，與VLM交互并生成3D value map，來規(guī)劃機(jī)械臂的運行軌跡。Google具身智能路線較多，包括從PaLM衍生來的PaLM-E，從Gato迭代來的RoboCat，以及最新基于RT-1和PaLM-E升級得到的RT-2。
RT-1：第一代RT系列機(jī)器人
RT的全稱是Robot Transformer，是吸收了包含機(jī)器人軌跡數(shù)據(jù)在內(nèi)的Transformer架構(gòu)模型。RT-1的主體包括：卷積神經(jīng)網(wǎng)絡(luò)（EfficientNet）、Token學(xué)習(xí)器和Transformer。RT-1的重要貢獻(xiàn)之一是收集了大量的機(jī)器人真實數(shù)據(jù)。Google依靠自己強(qiáng)大的資金和科研實力，耗時17個月，在13臺機(jī)器人上收集了13萬條機(jī)器人數(shù)據(jù)，覆蓋超過700個機(jī)器人相關(guān)任務(wù)。大量的機(jī)器人真實數(shù)據(jù)，保證RT-1在訓(xùn)練完成后具有良好的泛化能力。
RT-2：Google具身智能新突破
Google將RT-2定位為新型的視覺語言動作（VLA）模型，實現(xiàn)了視覺語言模型與機(jī)器人動作的結(jié)合。RT-2一方面吸收了VLM語義推理、問題解決、視覺解釋能力，另一方面能夠從真實的機(jī)器人動作中實現(xiàn)具身任務(wù)推理，且兩方面能夠相互促進(jìn)。訓(xùn)練方式上，通過將機(jī)器人動作拆解為文本token的形式，實現(xiàn)了直接與視覺語言數(shù)據(jù)混合后輸入VLM進(jìn)行聯(lián)合微調(diào)。此外，Google還專門開發(fā)協(xié)議，將模型部署在多TPU云服務(wù)實現(xiàn)實時推理。實驗結(jié)果表明，基于現(xiàn)成的VLM模型PaLM-E和PaLI-X，RT-2取得了良好的泛化和涌現(xiàn)性能。
機(jī)器人數(shù)據(jù)來源與動作映射探討
目前來看，機(jī)器人數(shù)據(jù)來源通常是真實數(shù)據(jù)和合成數(shù)據(jù)。Google在RT-1中耗費17個月時間收集了13臺機(jī)器人的13萬條機(jī)器人真實數(shù)據(jù)；GoogleRoboCat，會先收集100-1000個真實的人類專家示例，再合成更多數(shù)據(jù)；NVIDIAOPTIMUS使用任務(wù)運動規(guī)劃系自動的合成一定數(shù)量的機(jī)器人軌跡數(shù)據(jù)；斯坦福VoxPoser則直接生成3D value map引導(dǎo)機(jī)器人動作。動作映射上，如果具身模型輸出高于機(jī)器人低級別動作層級，則需要借助現(xiàn)成的策略或API來實現(xiàn)動作映射；如果模型輸出已經(jīng)在低級別動作層級，則通過簡單的變換即可映射到機(jī)器人的具體動作。機(jī)器人是大模型重要入口和邊緣側(cè)的重要載體之一，相關(guān)標(biāo)的包括：柏楚電子、中科創(chuàng)達(dá)和螢石網(wǎng)絡(luò)。
風(fēng)險提示：宏觀經(jīng)濟(jì)波動，技術(shù)進(jìn)步不及預(yù)期。本報告內(nèi)容均基于客觀信息整理，不構(gòu)成投資建議。
|
|
