>> 西部證券-AI行業(yè)專題：AI+應(yīng)用走向落地，私有數(shù)據(jù)和向量數(shù)據(jù)受益-230508
| 上傳日期： |
2023/5/8 |
大?。?/td>
| 982KB |
| 格式： |
pdf 共8頁 |
來源： |
西部證券 |
| 評級： |
超配 |
作者： |
邢開允,趙宇陽 |
| 下載權(quán)限： |
此報告為加密報告 |
|
|
應(yīng)用中添加ChatGPT等生成式AI將成為行業(yè)發(fā)展的關(guān)鍵點(diǎn)。1）目前隨著OpenAI推出的ChatGPT 3.5以及4.0的應(yīng)用，大大促進(jìn)了AIGC行業(yè)的發(fā)展，我國國內(nèi)各公司也開始爭相設(shè)計與發(fā)布屬于自己的生成式AI大模型，未來在AIGC時代下，各類產(chǎn)品應(yīng)用中添加ChatGPT等生成式AI將成為行業(yè)發(fā)展的關(guān)鍵點(diǎn)。2）目前生成式AI的訓(xùn)練原理，以ChatGPT為例，假設(shè)我們的輸入提示為Prompt（假設(shè)為“我愛你，我的祖國”，則這段文字首先會被轉(zhuǎn)化成一系列Token，然后Token再被送入大語言模型（神經(jīng)網(wǎng)絡(luò)模型）中，得到輸出Token，輸出Token再重新被映射成文字，最終完成輸入文字和輸出文字對應(yīng)的結(jié)果。
行業(yè)知識學(xué)習(xí)具有3種常見方法。1）Fine-tuning微調(diào)適合數(shù)據(jù)集較小的情況。微調(diào)（finetune）是深度學(xué)習(xí)領(lǐng)域一個很常用的操作，就是模型的再次訓(xùn)練。是指在預(yù)先訓(xùn)練好的模型基礎(chǔ)之上使用特定的數(shù)據(jù)集進(jìn)行微調(diào)?？梢詫⑿碌臄?shù)據(jù)集加入到預(yù)先訓(xùn)練好的模型中，用新的數(shù)據(jù)集重新訓(xùn)練模型，以提高模型在特定任務(wù)上的表現(xiàn)。通過finetune可以小幅度改變大模型的參數(shù)，使大模型聚焦于特定場景的知識（即私有數(shù)據(jù)知識）。2）retrieve-then-generate先嵌入Embeddings搜索-再Pormpt+數(shù)據(jù)+問題輸入ChatGPT生成。簡版工作流：chunk -> index ->retrieve搜索-> construct input -> LLM生成。3）基于檢索的提示補(bǔ)充來增強(qiáng)結(jié)果準(zhǔn)確性。GPT系列的大語言模型都有一個共同的原理，是基于上下文學(xué)習(xí)（Context Learning）能力進(jìn)行訓(xùn)練和結(jié)果生成。因為歷史的數(shù)據(jù)表示，我“疼”了就會“生病”，所以模型通過數(shù)據(jù)抽象總結(jié)出了這個因果關(guān)系，并根據(jù)“腳疼”推理出“生病”。當(dāng)數(shù)據(jù)足夠多、足夠豐富，模型能夠預(yù)測的結(jié)果也就越豐富，越隨機(jī)。上下文學(xué)習(xí)中輸入被稱為提示（Prompt），提示越準(zhǔn)確、包含的信息越多，模型所能準(zhǔn)確推理出更準(zhǔn)確的結(jié)果。4）ChatGPT+向量數(shù)據(jù)庫+提示打破知識庫有限的限制。由于其知識庫有限而受到限制，有時當(dāng)被問及不熟悉的話題時，會產(chǎn)生幻覺的答案。引入新的AI堆棧，ChatGPT+向量數(shù)據(jù)庫+提示即代碼，或CVP堆棧，以克服這個約束。ChatGPT非常擅長回答自然語言查詢，當(dāng)與鏈接用戶的查詢和檢索到的文本的提示符相結(jié)合時，ChatGPT將生成一個相關(guān)的和準(zhǔn)確的響應(yīng)。這種方法可以減輕ChatGPT提供的“幻覺答案”。
投資建議：AI+應(yīng)用：明確提出私有數(shù)據(jù)應(yīng)用：推薦：福昕軟件、捷安高科、金山辦公，建議關(guān)注：萬興科技；向量數(shù)據(jù)庫：建議關(guān)注：星環(huán)科技、拓爾思。
風(fēng)險提示：AI技術(shù)發(fā)展不及預(yù)期；應(yīng)用端需求不及預(yù)期。
|
|
