>> 海通證券-信息服務(wù)行業(yè)跟蹤報告：大模型迭代速度或日益加快，具身智能發(fā)展有望持續(xù)深化-230919
| 上傳日期： |
2023/9/19 |
大?。?/td>
| 420KB |
| 格式： |
pdf 共3頁 |
來源： |
海通證券 |
| 評級： |
優(yōu)于大市 |
作者： |
楊林 |
| 下載權(quán)限： |
此報告為加密報告，僅限高級會員查看 |
|
|
投資要點：
Colossal-AI對700億參數(shù)大模型的訓練加速195%，大型模型開發(fā)和應(yīng)用的成本將大大降低。根據(jù)HPC-AITechnology官網(wǎng)，作為全球規(guī)模最大、最活躍的大模型開發(fā)工具與社區(qū)，Colossal-AI再次迭代，提供開箱即用的8到512卡LLaMA2訓練、微調(diào)、推理方案，對700億參數(shù)訓練加速195%，并提供一站式云平臺解決方案。在使用8卡訓練/微調(diào)LLaMA2-7B時，Colossal-AI能達到約54%的硬件利用率（MFU），處于業(yè)界領(lǐng)先水平。而對于預訓練任務(wù)，Colossal-AI則因卓越的系統(tǒng)優(yōu)化和擴展性，仍能保持良好性能，訓練提速195%。Colossal-AILLaMA-2訓練/微調(diào)方案的高性能來源于新的異構(gòu)內(nèi)存管理系統(tǒng)Gemini和高性能算子（包括Flash attention 2）等系統(tǒng)優(yōu)化。新Gemini提供了高可擴展性，高魯棒性，高易用性的接口。同時，Colossal-AI的ShardFormer提供了開箱即用的多維并行和算子優(yōu)化的能力，僅需數(shù)行代碼即可使用，在單機以及大規(guī)模集群上都能提供良好的性能。其次，為了進一步提升開發(fā)和部署效率，Colossal-AI團隊還將上述系統(tǒng)優(yōu)勢與算力結(jié)合，提供Colossal-AI云平臺，提供廉價算力和開箱即用的AI主流應(yīng)用。用戶只需要上傳相關(guān)數(shù)據(jù)，即可無代碼訓練個性化私有模型，并將訓練好的模型一鍵部署。我們認為，Colossal-AI的這次迭代大大降低模型訓練以及部署的成本，有望對大模型產(chǎn)業(yè)的加速發(fā)展起到重要的催化作用。
AI有望代替人類進行強化學習，大模型訓練速度有望大幅提升。來自人類反饋的強化學習（RLHF）可以有效地使大型語言模型（LLM）與人類偏好保持一致，但收集高質(zhì)量的人類偏好標簽是一個關(guān)鍵瓶頸。Bai等人探索使用AI來訓練用于強化學習微調(diào)的獎勵模型，但他們的工作并沒有直接比較人類與AI反饋的有效性，這使得來自人工智能反饋的強化學習（RLAIF）是否可以成為RLHF的合適替代品的問題仍沒有定論。近日，谷歌研究院發(fā)表了論文RLAIF: Scaling Reinforcement Learning from Human Feedback with AIFeedback，直接比較了人類與AI反饋的有效性，發(fā)現(xiàn)RLAIF可以產(chǎn)生人類水平的性能，這一結(jié)果為RLHF的可擴展性方面的限制提供了潛在的解決方案。在這項研究中，研究者給定了一段文本和兩個候選響應(yīng)，使用現(xiàn)有的LLM為其分配一個偏好標簽。然后再基于該LLM偏好，使用對比損失訓練一個獎勵模型（RM）。最后，他們使用該RM來提供獎勵，通過強化學習方法微調(diào)得到一個策略模型。隨后，研究者使用了三個評估指標：打標簽AI對齊度、配對準確度和勝率來對AI和人類的反饋進行評估。最終得到RLAIF和RLHF策略分別在71%和73%的時間里比監(jiān)督式微調(diào)（SFT）基準更受人類青睞，而這兩個勝率在統(tǒng)計學意義上沒有顯著差別。同時，當被要求直接比較RLAIF與RLHF的結(jié)果時，人類對兩者的偏好大致相同（即50%勝率）。我們認為，這些結(jié)果表明RLAIF不依賴于人類標注，并且具有良好的擴展性，故而擁有替代RLHF的潛力，如果AI能夠代替人類進行強化學習，未來大模型的訓練速度有望大幅提升。
大模型被證實理論上能教會機器人對模糊指令做出回應(yīng)，具身智能發(fā)展或持續(xù)深化。近日，谷歌DeepMind和東京大學的研究團隊共同發(fā)布了一篇論文SayTap: Language to Quadrupedal Locomotion，論文中提出的交互式系統(tǒng)（SayTap）方法使用了大型語言模型，可將自然語言指令轉(zhuǎn)譯成四足機器人的低層控制信號，而且這些指令可以相當模糊。近來大型語言模型（LLM）發(fā)展迅速，已經(jīng)展現(xiàn)出了執(zhí)行高層規(guī)劃的潛力。然而，對LLM來說，理解低層指令依然很難，比如關(guān)節(jié)角度目標或電機扭矩，尤其是對于本身就不穩(wěn)定、必需高頻控制信號的足式機器人。因此，大多數(shù)現(xiàn)有工作都會假設(shè)已為LLM提供了決定機器人行為的高層API，而這就從根本上限制了系統(tǒng)的表現(xiàn)能力。此研究中，研究者提出了一種使用腳接觸模式作為接口的方法，該接口在自然語言中連接人類命令，以及輸出這些低級命令的運動控制器。這就搭建出了一個四足機器人的交互式系統(tǒng)（SayTap），允許用戶靈活地制作各種運動行為。研究團隊設(shè)計了一個LLM提示設(shè)計，一個獎勵函數(shù)，以及一種將控制器暴露給接觸模式的可行分布的方法。最終的結(jié)果顯示，所提出的方法使四足機器人既能夠遵循直接和精確的命令，同時還能遵循自然語言中的非結(jié)構(gòu)化和模糊指令，從而促進人機交互。例如，當研究者給出“好消息，我們要去野餐了！”的指令時，機器人表現(xiàn)出上躥下跳的行為。當研究者給出“表現(xiàn)得地面好像很熱的樣子”的命令時，機器人快速地移動，腳幾乎不著地。這些反應(yīng)大多與預期一致。我們認為，這一研究結(jié)果展示了未來機器人應(yīng)用的廣闊可能性，例如場景表演、人類伴侶甚至工業(yè)和家庭中許多更具創(chuàng)造性的任務(wù)，伴隨大模型的持續(xù)迭代，未來機器人和理解人類意圖的能力也有望持續(xù)提升，具身智能發(fā)展也有望持續(xù)深化。
風險提示：AI技術(shù)發(fā)展不及預期的風險，行業(yè)應(yīng)用不及預期
|
|
