久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

3月16日，百度正式發(fā)布了文心一言，能夠與人對(duì)話互動(dòng)，回答問(wèn)題，協(xié)助創(chuàng)作。我們認(rèn)為：1）一些NLP人機(jī)對(duì)話中基礎(chǔ)的問(wèn)答、總結(jié)、推理、創(chuàng)作能力基本具備；2）部分特定場(chǎng)景的中文理解可能超過(guò)了GPT；3）具備了初步的數(shù)理邏輯能力；4）有特色的多模態(tài)生成能力，某幾個(gè)功能點(diǎn)很實(shí)用。
　　但同時(shí)，我們認(rèn)為相比GPT4功能文心一言仍有較大差距，目前水平約在GPT3左右。發(fā)布會(huì)中有部分體現(xiàn)大模型強(qiáng)大指出的核心功能尚未充分展示。包括多輪對(duì)話、代碼能力、長(zhǎng)文本理解等GPT-4具有的能力，文心一言未進(jìn)行展示。同時(shí)目前文心一言仍未全面公測(cè)，企業(yè)和個(gè)人用戶(hù)可以在官網(wǎng)申請(qǐng)邀請(qǐng)后試用。
　　整體來(lái)看，文心一言展示出的水平符合我們預(yù)期：即從參數(shù)量、迭代路徑看，國(guó)內(nèi)NLP大模型水平介于BERT和GPT-3之間，與海外差距在2-3年。2021年GPT-3推出時(shí)，代碼、長(zhǎng)文本、語(yǔ)境等能力也較弱。在此后1年中，OPENAI快速迭代增加了codex、RLHF等嘗試，并繼續(xù)優(yōu)化了PPO，在2022年推出instructGPT，其后能力才出現(xiàn)較大提升。我們認(rèn)為百度文心已經(jīng)初步具備LLM底座，期待后續(xù)迭代。
　　技術(shù)上，我們分析了百度NLP大模型ERNIE 1.0-3.0迭代，優(yōu)勢(shì)總結(jié)如下：1）ERNIE 1.0到3.0完整迭代，截至3.0已是相對(duì)可用狀態(tài)，3.0模型結(jié)構(gòu)便于下游二次開(kāi)發(fā)部署；2）強(qiáng)大的百度內(nèi)部特色中文語(yǔ)料庫(kù)；3）基于BERT結(jié)構(gòu)基礎(chǔ)加上了知識(shí)圖譜等特色功能，在部分規(guī)則訓(xùn)練場(chǎng)景有更好可控性；4）國(guó)內(nèi)領(lǐng)先的開(kāi)源AI訓(xùn)練框架，較強(qiáng)的算力基礎(chǔ)設(shè)施。
　　但同時(shí)，我們也看到現(xiàn)階段ERNIE底座的一些不足：1）模型結(jié)構(gòu)仍然基于BERT，但目前海外巨頭主流結(jié)構(gòu)轉(zhuǎn)變?yōu)镚PT為代表的decoder-only，未來(lái)百度是否會(huì)在模型結(jié)構(gòu)上繼續(xù)迭代？2）根據(jù)3月16日百度文心一言發(fā)布會(huì)，目前百度在Prompt和RLHF已經(jīng)掌握方法論，但實(shí)際訓(xùn)練量仍然有待提升；3）百度都使用了有特色是知識(shí)圖譜訓(xùn)練，這一方式可以有效降低訓(xùn)練模型所需要消耗的算力。但當(dāng)大語(yǔ)言模型達(dá)到千億或者更高參數(shù)級(jí)別時(shí)，似乎自然具備了知識(shí)圖譜訓(xùn)練下的能力。4）ERNIE使用了百度內(nèi)部特色中文數(shù)據(jù)，提升模型中文能力。但是百度體系內(nèi)高質(zhì)量語(yǔ)料庫(kù)相比龐大的英文互聯(lián)網(wǎng)語(yǔ)料庫(kù)仍然不足。
　　相關(guān)標(biāo)的：互聯(lián)網(wǎng)行業(yè)重點(diǎn)關(guān)注計(jì)劃國(guó)內(nèi)推出類(lèi)GPT產(chǎn)品的三六零；應(yīng)用相關(guān)，重點(diǎn)關(guān)注海外業(yè)務(wù)占比高，有望通過(guò)AI優(yōu)化運(yùn)營(yíng)效率和產(chǎn)品體驗(yàn)的公司，海外業(yè)務(wù)貢獻(xiàn)較多的巨人網(wǎng)絡(luò)（持有playtika股權(quán)）、盛天網(wǎng)絡(luò)、湯姆貓、昆侖萬(wàn)維、藍(lán)色光標(biāo)、神州泰岳、愷英網(wǎng)絡(luò)；易點(diǎn)天下、鴻合科技。國(guó)內(nèi)未來(lái)隨著大模型迭代，合作伙伴也有望受益，關(guān)注風(fēng)語(yǔ)筑、三人行、姚記科技、華策影視、創(chuàng)維數(shù)字。
　　計(jì)算機(jī)行業(yè)：建議重點(diǎn)關(guān)注跨模態(tài)應(yīng)用，包括多模態(tài)應(yīng)用：1）文生圖：虹軟科技（基于stable diffusion的多種2B圖像應(yīng)用）、新國(guó)都、中科創(chuàng)達(dá)（移動(dòng)端文生圖工具部署）；2）機(jī)器人：三花智控等；3）其他應(yīng)用：潤(rùn)達(dá)醫(yī)療（申萬(wàn)醫(yī)藥、醫(yī)療診斷AI）、福昕軟件、萬(wàn)興科技；視頻、圖像、文本素材：大華股份（工業(yè)場(chǎng)景視頻素材和標(biāo)注），AI領(lǐng)軍、當(dāng)虹科技；視覺(jué)和跨模態(tài)算法：商湯（港股）、云從科技、科大訊飛。
　　風(fēng)險(xiǎn)提示：大模型技術(shù)中美仍存在差異，部分技術(shù)尚處于早期實(shí)驗(yàn)室階段，存在落地風(fēng)險(xiǎn)；實(shí)體清單等可能對(duì)訓(xùn)練硬件產(chǎn)生影響。