久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

Scaling-law仍為基礎定律，大模型量級快速擴張。1）7月8日，Anthropic表示，其目前正在開發(fā)的人工智能模型的訓練成本高達10億美元，且未來三年內，AI模型的訓練成本將上升到100億美元甚至1000億美元，引起廣泛關注。2）我們認為，大模型訓練成本的快速擴張仍然反映了Scaling-law的基礎原理，即當增加模型大小、數據集大小以及用于訓練的計算量時，語言模型的性能會逐漸提升，且提升效果遵循冪律關系。3）而冪律關系也意味著，增加模型參數量、數據集或計算資源，其邊際回報會不斷降低。即便如此，Scaling-law仍為當前技術路徑下的基礎定律，全球各大模型規(guī)模持續(xù)擴張，GPT4參數量或已到萬億級別，相比GPT3.5提升一個量級。4）我們認為，對Scaling-law的堅持嘗試、部分優(yōu)化，均反映大語言模型仍處于快速發(fā)展的過程中，模型參數量、數據量、計算資源的擴張，都將成為推動大模型實現更高知識水平的基石。
　　大模型進步空間仍大，訓練算力成本或超百億美元。1）在定量的算力估算上，我們參考《Scaling Laws for Neural Language Models》、《TrainingCompute-Optimal Large Language Models》等大模型領域的代表論文，給出大致測算。2）訓練算力需求方面，以單個token所需的計算資源C約等于6N為基礎，我們估算，為了達到類似人類的水平，大模型或至少需要11萬億參數、228萬億token數、1.55*10^28次的浮點運算。3）在硬件成本方面，以英偉達B200及H100為主流GPU，在FP8精度下，大約需要投建63億美元的B200或127億美元的H100；在FP16精度下，大約需要投建254億美元的H100。若大模型效果進一步優(yōu)化，伴隨參數量邁向大幾十億或百萬億級別，參考計算量C=6N的類線性關系，其算力成本或達到千億美元。3）需要指出的是，本測算暫未考慮各類針對算力的優(yōu)化措施，例如硬件計算效率的不斷提升、MoE或已超越Dense架構成為大語言模型的主要選擇、TTT等RNN新架構陸續(xù)推出等。另一方面，多模態(tài)引入了語音、圖片、視頻等更豐富的輸入輸出方式，或對大模型的訓練提出更高要求。
　　訓練攀升、推理加速，算力或仍是確定性最高的方向之一。1）Scaling-law助推參數量、數據量高速擴張，訓練需求仍在攀升；同時，應用廣泛開放，臨近規(guī)?；瘯r刻，推理需求加速釋放。近期，全球科技大廠均對2024年資本開支表示樂觀。2）我們認為，算力在AIGC大浪潮中的基石地位不言而喻，以英偉達、臺積電等為代表的供應商可核心受益，算力或仍是確定性最高的方向之一，產業(yè)鏈共創(chuàng)共贏局面將持續(xù)打開。
　　相關標的：
　　1）算力側：寒武紀、浪潮信息、中際旭創(chuàng)、新易盛、工業(yè)富聯、海光信息、中科曙光、軟通動力、協創(chuàng)數據、云賽智聯、神州數碼、高新發(fā)展、利通電子、烽火通信等。
　　2）AI相關：?？低暋⒅锌苿?chuàng)達、立訊精密、鵬鼎控股、金山辦公、大華股份、拓爾思、潤達醫(yī)療、漫步者、云天勵飛、虹軟科技、昆侖萬維、中廣天擇、同花順、科大訊飛、萬興科技、用友網絡、賽意信息等。
　　風險提示：AI迭代不及預期風險；經濟下行超預期風險；行業(yè)競爭加劇風險。