久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

Yadlowsky et al.在《 Pretraining Data Mixtures Enable Narrow Model SelectionCapabilities in Transformer Models》中給出了當(dāng)前的ICL（上下文學(xué)習(xí)）底層方法上的局限性。他們發(fā)現(xiàn)有強(qiáng)有力的證據(jù)表明模型可以在上下文學(xué)習(xí)中在預(yù)訓(xùn)練的函數(shù)類之間進(jìn)行模型選擇，但只有有限的證據(jù)表明模型的上下文學(xué)習(xí)行為能夠推廣到預(yù)訓(xùn)練數(shù)據(jù)之外。
　　混合預(yù)訓(xùn)練數(shù)據(jù)表明模型預(yù)測(cè)在不同分布函數(shù)之間權(quán)衡
　　當(dāng)上下文中的示例來(lái)自非常稀疏或非常密集的函數(shù)時(shí)，預(yù)測(cè)與僅在稀疏數(shù)據(jù)或僅在密集數(shù)據(jù)上預(yù)訓(xùn)練的模型幾乎相同。然而，在中間情況下，混合預(yù)測(cè)與純粹密集或純粹稀疏預(yù)訓(xùn)練的Transformer模型的預(yù)測(cè)有所偏離。這表明預(yù)訓(xùn)練在混合上的模型不僅僅是選擇一個(gè)函數(shù)類進(jìn)行預(yù)測(cè)，而是在兩者之間進(jìn)行預(yù)測(cè)。
　　Transformer架構(gòu)泛化能力的局限性
　　評(píng)估模型在預(yù)訓(xùn)練中見(jiàn)過(guò)的函數(shù)的極端版本（即頻率遠(yuǎn)高或遠(yuǎn)低于預(yù)訓(xùn)練中通常見(jiàn)到的正弦函數(shù)）上的ICL表現(xiàn)。作者發(fā)現(xiàn)很少有證據(jù)表明模型具有超出分布的泛化能力。當(dāng)函數(shù)與預(yù)訓(xùn)練數(shù)據(jù)明顯相距甚遠(yuǎn)時(shí)，預(yù)測(cè)結(jié)果是不穩(wěn)定的。然而，當(dāng)函數(shù)與預(yù)訓(xùn)練數(shù)據(jù)足夠接近時(shí)，模型可以很好地通過(guò)預(yù)訓(xùn)練的函數(shù)類別來(lái)逼近它。
　　提升泛化能力需要廣泛覆蓋
　　組合函數(shù)主要來(lái)自一個(gè)函數(shù)類別或另一個(gè)函數(shù)類別時(shí)，即接近預(yù)訓(xùn)練期間學(xué)到的函數(shù)類別時(shí)，上下文中的預(yù)測(cè)是合理的。然而，當(dāng)兩個(gè)函數(shù)在凸組合中都有顯著貢獻(xiàn)時(shí)，模型會(huì)做出不合理的預(yù)測(cè)，這些預(yù)測(cè)在上下文示例中無(wú)法很好地解釋。這表明模型的模型選擇能力受限于與預(yù)訓(xùn)練數(shù)據(jù)的接近程度，并且暗示了對(duì)函數(shù)空間的廣泛覆蓋對(duì)于泛化的上下文學(xué)習(xí)能力至關(guān)重要。
　　風(fēng)險(xiǎn)提示
　　本報(bào)告依據(jù)最新前沿論文進(jìn)行解讀評(píng)述，若有理解不當(dāng)請(qǐng)以原始論文表述為準(zhǔn)。且本報(bào)告為AI應(yīng)用方法和框架介紹，并不作為有效投資方法建議，僅供參考