久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

微軟開源DeepSpeed-Chat，助力類ChatGPT模型訓(xùn)練。開源社區(qū)貢獻(xiàn)了很多類GPT模型，但RLHF環(huán)節(jié)作為ChatGPT能力的重要來源，實(shí)現(xiàn)依然有一定復(fù)雜度。2023年4月12日，微軟開源了DeepSpeed-Chat，它能進(jìn)行簡單、快速且經(jīng)濟(jì)的RLHF訓(xùn)練，適用于各種規(guī)模的類似ChatGPT的模型：只需要用一個(gè)腳本，就能夠采用預(yù)訓(xùn)練的Huggingface模型，使用DeepSpeed-RLHF系統(tǒng)運(yùn)行完成RLHF過程，生成自己的類ChatGPT的模型。DeepSpeed-HE是DeepSpeed-RLHF系統(tǒng)的引擎，具備三大優(yōu)勢：1）效率和經(jīng)濟(jì)性：效率比現(xiàn)有其他系統(tǒng)快15倍以上。2）出色的可擴(kuò)展性：支持?jǐn)?shù)千億參數(shù)的模型，在一天內(nèi)可以訓(xùn)練一個(gè)龐大的175B模型。3）親民的RLHF訓(xùn)練：只需一個(gè)GPU就能支持訓(xùn)練超過130億個(gè)參數(shù)的模型。
　　算力需求伴隨應(yīng)用而生。1）DeepSheep-Chat降低了RLHF的工程難度以及算力需求，但RLHF在ChatGPT訓(xùn)練過程中的算力需求占比極小。ChatGPT的成功，基石是預(yù)訓(xùn)練大模型GPT-3.5/4，絕大多數(shù)算力消耗在預(yù)訓(xùn)練環(huán)節(jié)而不是RLHF。2）即使有能大幅降低大模型訓(xùn)練全過程算力需求的技術(shù)出現(xiàn)，也只會(huì)促進(jìn)廠商追求更大更強(qiáng)的模型。OpenAI的目標(biāo)是要實(shí)現(xiàn)通用人工智能，其他大廠也必將全力追趕OpenAI，目前的大語言模型對于通用人工智能還只是一個(gè)起步，技術(shù)進(jìn)步只會(huì)加速人類對更強(qiáng)AI的探索而不是讓人類安于現(xiàn)狀。
　　DeepSpeed-Chat加速應(yīng)用百花齊放，中期加大算力需求。DeepSpeed-Chat降低了RLHF的工程難度，并極大降低了微調(diào)大模型的成本，讓中小廠商更容易基于大模型實(shí)現(xiàn)細(xì)分領(lǐng)域應(yīng)用，如辦公、多模態(tài)GPT、智能助理、金融、醫(yī)療等場景訓(xùn)練中模型微調(diào)的難度和成本將大幅降低。同時(shí)中小應(yīng)用廠商在一些不需要模型能力非常強(qiáng)的場景，也可以自己基于開源模型，迅速低成本進(jìn)行RLHF得到自己的小型類ChatGPT模型進(jìn)行應(yīng)用落地。除了訓(xùn)練端的算力需求，在應(yīng)用爆發(fā)后，推理側(cè)的算力需求將指數(shù)型增長。DeepSpeed-Chat加速各類應(yīng)用落地，中期算力需求有望迎來大爆發(fā)。
　　投資建議。
　　建議關(guān)注：算力：英偉達(dá)、中科曙光、海光信息、寒武紀(jì)、易華錄、光通信產(chǎn)業(yè)鏈、拓維信息、常山北明、神州數(shù)碼、浪潮信息、景嘉微、工業(yè)富聯(lián)。
　　大模型及技術(shù)公司：百度、阿里、華為、360、科大訊飛、云從科技、昆侖萬維、海天瑞聲、拓爾思、騰訊、字節(jié)跳動(dòng)等。
　　應(yīng)用：1）對標(biāo)微軟辦公：微軟、金山辦公、彩訊股份；2）多模態(tài)GPT（輸入輸出信號變化）：大華股份、?？低暋⑷f興科技、千方科技、當(dāng)虹科技、云從科技、螢石網(wǎng)絡(luò)、商湯科技、中科創(chuàng)達(dá)、新國都等。3）互聯(lián)網(wǎng)傳媒：昆侖萬維、湯姆貓、藍(lán)色光標(biāo)、中文在線、利歐股份、游戲、數(shù)字人、電商等。4）智能助理（耳機(jī)/音箱）：漫步者、科大訊飛、傳音控股、國光電器、恒玄科技、奮達(dá)科技、惠威科技等。5）其他優(yōu)質(zhì)應(yīng)用：同花順、恒生電子、金證股份、上海鋼聯(lián)、石基信息、漢得信息等。6)AI安全：新華網(wǎng)、人民網(wǎng)、電科網(wǎng)安、美亞柏科、安恒信息等。7)國內(nèi)巨頭合作：光云科技、賽意信息、云鼎科技、朗新科技、潤和軟件、軟通動(dòng)力等8）醫(yī)療應(yīng)用：潤達(dá)醫(yī)療、嘉和美康、衛(wèi)寧健康、創(chuàng)業(yè)慧康。8)機(jī)器人：三花智控、拓普集團(tuán)、鳴志電器、綠的諧波、晶品特裝。
　　風(fēng)險(xiǎn)提示：AI技術(shù)迭代不及預(yù)期風(fēng)險(xiǎn)；經(jīng)濟(jì)下行超預(yù)期風(fēng)險(xiǎn)；行業(yè)競爭加劇風(fēng)險(xiǎn)。