久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

核心提要
　　我們?yōu)槭裁凑J(rèn)為AIGC是產(chǎn)業(yè)級(jí)趨勢(shì)？——人工智能步入新發(fā)展階段，逐步邁向AGI；AIGC創(chuàng)造人機(jī)交互新變革，將迎來(lái)更多新機(jī)遇；通用大模型是AI產(chǎn)業(yè)的水平化分工的關(guān)鍵，有望實(shí)現(xiàn)規(guī)模效應(yīng)與飛輪效應(yīng)，商業(yè)模式逐步清晰；生成式AI可能打破現(xiàn)有流量競(jìng)爭(zhēng)格局。
　　復(fù)盤(pán)海外vs國(guó)內(nèi)典型AIGC概念股行情演繹邏輯，有哪些啟示？——海外行情率先啟動(dòng)，海外演繹邏輯：算力（率先啟動(dòng)、漲幅最大）—大模型—應(yīng)用，國(guó)內(nèi)演繹邏輯：數(shù)據(jù)—算力、大模型—應(yīng)用。
　　投資邏輯總結(jié)：三階段論。——【階段1】起點(diǎn)：百模大戰(zhàn)，巨頭和垂直廠商紛紛投入大模型的研發(fā)和訓(xùn)練，早期訓(xùn)練對(duì)高性能算力需求度大，廠商大量囤積芯片，算力投資確定性相對(duì)較高，大模型與應(yīng)用仍處于早期；【階段2】承壓：路徑分化，少數(shù)通用基座大模型+較多垂直行業(yè)/公司大模型廠商，基于開(kāi)源模型開(kāi)發(fā)與底層自研并行，NLP大模型訓(xùn)練算力需求有限，應(yīng)用側(cè)尚未迎來(lái)大幅增長(zhǎng)，推理算力消耗有限，大模型也處于商業(yè)化早期，產(chǎn)業(yè)鏈整體承壓；【階段3】突破：技術(shù)迭代、結(jié)合新硬件帶來(lái)新變化，多模態(tài)逐步成熟，3D生成、策略生成等技術(shù)逐步突破，未來(lái)結(jié)合MR、機(jī)器人等新硬件，應(yīng)用加速普及，進(jìn)一步打開(kāi)商業(yè)化空間，帶動(dòng)整體產(chǎn)業(yè)鏈形成正循環(huán)。
　　如何看待NLP大模型訓(xùn)練與推理算力成本？——①訓(xùn)練算力需求：通用大模型算力消耗大但數(shù)量相對(duì)較少，行業(yè)/公司級(jí)大模型數(shù)量多但算力消耗相對(duì)較小，整體空間有限。根據(jù)訓(xùn)練所需算力符合經(jīng)驗(yàn)公式= 6 *參數(shù)量*數(shù)據(jù)量，假設(shè)通用大模型平均模型參數(shù)量1200億、平均模型訓(xùn)練數(shù)據(jù)量Tokens7000億、A100 GPU利用率45%、模型預(yù)計(jì)訓(xùn)練時(shí)間維持在34天時(shí)，單個(gè)大模型訓(xùn)練需要1222張A100，若大模型數(shù)量達(dá)到30個(gè)，則需要36660張A100。當(dāng)平均模型參數(shù)量提升至2265億、平均模型訓(xùn)練數(shù)據(jù)量Tokens16603億、A100 GPU利用率達(dá)到較高水平57%、模型預(yù)計(jì)訓(xùn)練時(shí)間維持在34天時(shí)，單個(gè)大模型訓(xùn)練需要4319張A100，若此時(shí)大模型數(shù)量達(dá)到20個(gè)，則需要86386張A100。對(duì)于行業(yè)/公司級(jí)大模型來(lái)說(shuō)，若平均模型參數(shù)量在100-146億、平均模型訓(xùn)練數(shù)據(jù)量Tokens在1000-1464億、A100 GPU利用率在43%-45%、模型預(yù)計(jì)訓(xùn)練時(shí)間維持在30天時(shí)，當(dāng)行業(yè)/公司級(jí)大模型數(shù)量達(dá)到80-231個(gè)時(shí)，則需要1381-8164張A100。②推理側(cè)算力需求：伴隨用戶(hù)體量增加，整體需求量較大。假設(shè)單個(gè)模型參數(shù)量在1200-2265億，根據(jù)顯存容量經(jīng)驗(yàn)公式，可換算所需顯存容量在231-436GB，單次推理需要3-6張A100。假設(shè)DAU在0.5-2.5億，對(duì)應(yīng)并發(fā)推理需求最大設(shè)計(jì)容量在10000-50000次，假設(shè)單次推理時(shí)合并的推理需求數(shù)量12-8次，并發(fā)推理所需要的次數(shù)在834-6250次，對(duì)應(yīng)推理所需要的的A00顯卡數(shù)量在2502-37500張。③從GPT-4來(lái)看推理成本與收入：GPT-4的參數(shù)量為1.8萬(wàn)億，但GPT-4采用的結(jié)構(gòu)是MoE，每個(gè)專(zhuān)家的參數(shù)大約為1110億個(gè)，每次前向傳遞中會(huì)調(diào)用其中兩個(gè)專(zhuān)家模型，此外約有550億個(gè)共享參數(shù)被用于注意力機(jī)制，因此每次前向推理（生成一個(gè)token），僅用了約2770億個(gè)參數(shù)（1110×2+550），對(duì)應(yīng)到0.554TFLOPs，根據(jù)推理所需算力符合經(jīng)驗(yàn)公式= 2 *參數(shù)量*數(shù)據(jù)量，假設(shè)FLOPS利用率為21.3%、8個(gè)A100的GPU服務(wù)器使用成本為12美元/小時(shí)，則對(duì)應(yīng)推理算力成本約為0.0035美元/1000tokens，根據(jù)目前定價(jià)，在提取摘要（長(zhǎng)生短）、內(nèi)容創(chuàng)作（短生長(zhǎng)）兩種典型場(chǎng)景下推理毛利率在70%~90%之間，伴隨用戶(hù)數(shù)提升及使用頻率提升，對(duì)應(yīng)收入及算力消耗均有提升
　　應(yīng)用作為產(chǎn)業(yè)鏈形成正向循環(huán)的重要因素，未來(lái)需要重點(diǎn)關(guān)注什么？——①需要重點(diǎn)關(guān)注微軟應(yīng)用側(cè)的進(jìn)展：微軟作為生成式AI技術(shù)領(lǐng)先、應(yīng)用落地深入且可能率先實(shí)現(xiàn)規(guī)?；杖氲念^部廠商，其應(yīng)用進(jìn)展及商業(yè)化表現(xiàn)是重要標(biāo)桿。在Build 2023開(kāi)發(fā)者大會(huì)上微軟宣布旗下所有產(chǎn)品全線整合ChatGPT，推出Microsoft 365 Copilot，Dynamics 365 Copilot，Bing Chat，Windows Copilot等，近期OpenAI也在ChatGPT中推出新的語(yǔ)音和圖像等多模態(tài)功能，將面向Plus訂閱用戶(hù)和企業(yè)用戶(hù)開(kāi)放，后續(xù)需要緊密跟蹤微軟應(yīng)用側(cè)的進(jìn)展及商業(yè)化情況。②需要關(guān)注其他垂直應(yīng)用是否有明顯進(jìn)展：方向一：現(xiàn)有高頻場(chǎng)景接入AI能力——增收驅(qū)動(dòng)主要來(lái)自原有產(chǎn)品的ARPU及付費(fèi)率提升，核心需要關(guān)注現(xiàn)有產(chǎn)品及賽道的壁壘強(qiáng)弱（場(chǎng)景能力、用戶(hù)體量）、AI與現(xiàn)有產(chǎn)品應(yīng)用結(jié)合是否帶來(lái)總生產(chǎn)力或效率提升（單人效率提升*潛在提升用戶(hù)數(shù)）。典型代表：微軟Copilot、Notion AI、Adobe Firefly、Duolingo Max等；方向二：垂類(lèi)場(chǎng)景C端原生AI應(yīng)用——增收驅(qū)動(dòng)主要來(lái)自新的場(chǎng)景下用戶(hù)習(xí)慣的培養(yǎng)和商業(yè)化拓展，核心關(guān)注產(chǎn)品在垂直賽道是否具備較大的創(chuàng)新性、用戶(hù)留存率和粘性是否長(zhǎng)期維持、公司或產(chǎn)品在垂直場(chǎng)景下是否具備數(shù)據(jù)/用戶(hù)/模型等顯著優(yōu)勢(shì)。典型代表：Tome、Replit、Midjourney、Runway、Character.AI、AIDungeon等，場(chǎng)景來(lái)看主要包括辦公、工具向、圖像視頻、游戲&智能陪聊音頻；