>> 方正證券-計算機行業(yè)研究：AI算力的幾個關鍵問題解析-230419
| 上傳日期： |
2023/4/20 |
大?。?/td>
| 879KB |
| 格式： |
pdf 共5頁 |
來源： |
方正證券 |
| 評級： |
推薦 |
作者： |
方聞千 |
| 行業(yè)名稱： |
計算機 |
| 下載權限： |
此報告為加密報告，僅限高級會員查看 |
|
|
近期微軟自研AI芯片以及開源DeepSpeed Chat等事件引發(fā)市場關注，我們針對這幾個關鍵事件對算力未來的市場需求以及競爭格局的影響進行了重點解析，觀點如下：
問題一：微軟推出自研AI芯片將對GPU產(chǎn)業(yè)格局的影響？
根據(jù)The Information等媒體報道，微軟當前正在加速開發(fā)自研AI芯片，而早在2019年微軟已經(jīng)在內(nèi)部開始針對人工智能(AI)芯片進行開發(fā)，內(nèi)部代號為Athena，預計微軟的自研AI芯片最早可在明年開始在微軟及OpenAI內(nèi)部廣泛使用。
我們認為微軟自研芯片的主要目的更多在于對自身AI模型訓練成本以及供應鏈安全的考慮。隨著ChatGPT引領的生成式AI和大模型產(chǎn)業(yè)浪潮的到來，當前英偉達的主力AI芯片A100和H100面臨供貨緊張及價格上漲等問題，且目前未看到放緩跡象。根據(jù)John Peddie Research的數(shù)據(jù)，英偉達占據(jù)了GPU市場約86%的份額。由于GPU對于AI模型的訓練至關重要，此前微軟已經(jīng)投入數(shù)億美元購買了數(shù)萬顆A100芯片用于開發(fā)ChatGPT和GPT-4，未來面臨下一代模型開發(fā)，對芯片的需求量將進一步提升。因此微軟推進自研芯片的計劃主要是出于模型訓練成本以及供應鏈安全的考慮，而對于英偉達在AI/ML領域的地位短期內(nèi)則難以構成太大威脅。此外，微軟在云算力平臺中也需要為不想要高成本的Nvidia芯片的客戶提供更多的低成本選擇。
從產(chǎn)業(yè)格局來看，目前全球科技巨頭均在加速算力側的布局，軟件廠商開始自研芯片，而硬件廠商則在搭建算力平臺。一方面，包括微軟、亞馬遜、谷歌和Facebook等軟件及互聯(lián)網(wǎng)巨頭均在加大自研AI芯片的投入，同樣國內(nèi)頭部互聯(lián)網(wǎng)廠商阿里、騰訊、百度等也均披露了AI芯片的自研計劃，而另一方面，以英特爾為代表的芯片廠商則開始搭建算力平臺，發(fā)力軟件和云服務。在今年GTC（英偉達開發(fā)者大會）上，英偉達正式推出了AI云服務DGXCloud，使企業(yè)能夠即時接入用于訓練生成式AI等開創(chuàng)性應用的高級模型所需的基礎設施和軟件，DGXCloud可提供NVIDIADGXAI超級計算專用集群，并配以NVIDIAAI軟件。DGXCloud能夠讓每個企業(yè)都可以通過的網(wǎng)絡瀏覽器來訪問NVIDIA的AI超級計算機，免除了購置、部署和管理本地基礎設施的復雜性。DGXCloud每月最低的訂閱價格為3.7萬美元。
問題二：微軟的DeepSpeed Chat等技術是否會大幅降低算力需求？
微軟宣布開源DeepSpeed Chat,能夠以更低的成本、更快的速度訓練類似于ChatGPT的高質(zhì)量大模型。DeepSpeed Chat基于微軟的DeepSpeed深度學習優(yōu)化庫開發(fā)而成，具備訓練、強化推理等功能，針對模型訓練的RLHF（基于人類反饋的強化學習）過程，可以將訓練速度提升15倍以上，同時大幅降低成本。具體來看：基于DeepSpeed Chat，在Azure上只需9小時即可訓練一個13億參數(shù)模型，只需18小時即可訓練一個30億參數(shù)模型，且兩種訓練花費不到300美元和600美元。同時，對于擁有1750億參數(shù)的超大模型，DeepSpeed Chat能夠并行多節(jié)點多GPU系統(tǒng)，僅需約20小時，花費約5120美元的成本就能實現(xiàn)模型的訓練。
DeepSpeed Chat從原理來講是針對模型訓練中的RLHF過程來進行加速。ChatGPT的訓練通常包含了三個常規(guī)步驟：1)監(jiān)督微調(diào)（SFT），2)訓練獎勵模型（RW），3)基于人類反饋的強化學習（RLHF），使用RW模型來訓練SFT模型。DeepSpeed Chat流程的前兩步與模型訓練中的常規(guī)微調(diào)過程相似，僅是在規(guī)模和速度上有所提升。而在第三步RLHF，則是訓練過程最耗時和最消耗算力資源的一步，因為：1）內(nèi)存成本較高，在第三階段的整個過程中需要運行多個SFT和RW模型；2）生成回答階段的速度較慢，如果沒有正確加速，將顯著拖慢整個第三階段。而DeepSpeed Chat主要是針對第三步進行加速，一方面是將訓練能力和推理能力整合到一個統(tǒng)一的混合引擎，使得模型能夠無縫地在推理和訓練模式之間切換，能夠快速更新模型的權重；另一方面采用多種并行計算和內(nèi)存管理的優(yōu)化技術，如使用張量并行計算和高性能CUDA算子進行語言生成，同時使用輕量級內(nèi)存管理系統(tǒng)來處理KV緩存和中間結果，進而大幅提升了模型的吞吐量。
雖然DeepSpeed Chat能顯著降低RLHF的算力需求，但是對通用大模型訓練的總算力需求影響不大（預計5%以內(nèi)）。從一個通用大模型的訓練過程來看，一般分為Pre-training（預訓練）和Fine-tuning（微調(diào)）兩個階段，其中Pre-training（預訓練）對于算力資源的消耗要遠大于Fine-tuning（微調(diào)），特別是在輕量化微調(diào)技術應用之后，兩個階段對算力資源消耗的比例通常會大于100:1。雖然ChatGPT模型的訓練采取的RLHF方式，與常見的大語言模型的預訓練和微調(diào)環(huán)節(jié)存在較大差別，更復雜且算力消耗更大，但是本質(zhì)上更接近于模型微調(diào)。因此DeepSpeed Chat雖然能顯著降低RLHF的算力需求，但無法對預訓練環(huán)節(jié)的算力消耗產(chǎn)生直接影響，因此對大模型訓練的總算力需求影響不大。
問題三：LLaMA等開源模型的廣泛應用是否會降低對算力的需求？
短期來看，LLaMA會降低對訓練側的算力
|
|
