久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

蘋果AI：模型側：MM1
　　3月蘋果正式公布自家的多模態(tài)大模型MM1，MM1是一個具有最高300億參數(shù)的多模態(tài)LLM系列。MM1由密集模型和混合專家（MoE）變體組成，具有300億、70億、30億參數(shù)等多個版本。MM1不僅在預訓練指標中實現(xiàn)最優(yōu)性能SOTA，在一系列已有多模態(tài)基準上監(jiān)督微調后也能保持有競爭力的性能。
　　得益于大規(guī)模多模態(tài)預訓練，MM1模型在上下文預測、多圖像和思維鏈推理等方面表現(xiàn)不錯。MM1模型在指令調優(yōu)后展現(xiàn)出強大的少樣本學習能力。在幾乎所有基準測試中，蘋果的MoE模型比密集模型取得更好的性能，顯示MoE進一步擴展的巨大潛力。
　　蘋果AI：模型側：OpenELM
　　4月26日，蘋果宣布了更大的端側AI推進，推出全新的開源大語言模型OpenELM。OpenELM包含2.7億、4.5億、11億和30億個參數(shù)的四種版本，定位于超小規(guī)模模型，運行成本更低，可在手機和筆記本電腦等設備上運行文本生成任務。同時，公司開源了OpenELM模型權重和推理代碼、數(shù)據(jù)集、訓練日志、神經(jīng)網(wǎng)絡庫CoreNet。
　　 OpenELM使用了“分層縮放”策略，來有效分配Transformer模型每一層參數(shù)，從而提升準確率。在約10億參數(shù)規(guī)模下，OpenELM與OLMo相比，準確率提高了2.36%，同時需要的預訓練token數(shù)量減少了50%。
　　 OpenELM的基準測試（數(shù)據(jù)類型BFloat16）在工作站（配備英特爾i9-13900KFCPU、RTX 4090 GPU，24GBDDR5內存），以及M2 Max MacBook Pro（64GB內存）運行。