近期，一項(xiàng)新的研究方法揭示了 AI 模型在學(xué)習(xí)過(guò)程中潛在的能力，超出了人們之前的預(yù)期。研究人員通過(guò)分析 AI 模型在 “概念空間” 中的學(xué)習(xí)動(dòng)態(tài)，發(fā)現(xiàn)了如何讓 AI 系統(tǒng)更好地理解和生成圖像。

圖源備注:圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

“概念空間” 是一種抽象的坐標(biāo)系統(tǒng)，能夠表示訓(xùn)練數(shù)據(jù)中每個(gè)獨(dú)立概念的特點(diǎn)，比如物體的形狀、顏色或大小。研究者表示，通過(guò)在這個(gè)空間中描述學(xué)習(xí)動(dòng)態(tài)，可以揭示出概念學(xué)習(xí)的速度，以及學(xué)習(xí)順序受數(shù)據(jù)屬性的影響，這一屬性被稱為 “概念信號(hào)”。這個(gè)概念信號(hào)反映了數(shù)據(jù)生成過(guò)程對(duì)概念值變化的敏感度。例如，當(dāng)數(shù)據(jù)集中紅色和藍(lán)色之間的差異明顯時(shí)，模型對(duì)顏色的學(xué)習(xí)速度會(huì)更快。

在研究過(guò)程中，研究團(tuán)隊(duì)觀察到模型的學(xué)習(xí)動(dòng)態(tài)會(huì)出現(xiàn)突然的方向變化，從 “概念記憶” 轉(zhuǎn)向 “泛化”。為了驗(yàn)證這一現(xiàn)象，他們訓(xùn)練了一個(gè)模型，輸入了 “大的紅色圓圈”、“大的藍(lán)色圓圈” 和 “小的紅色圓圈”。在訓(xùn)練中未出現(xiàn)的 “藍(lán)色小圓圈” 組合，模型無(wú)法通過(guò)簡(jiǎn)單文本提示生成。但是，使用 “潛在干預(yù)” 技術(shù)（即操控模型中負(fù)責(zé)顏色和大小的激活）和 “過(guò)度提示” 技術(shù)(即通過(guò) RGB 值增強(qiáng)顏色規(guī)格)，研究者成功生成了 “藍(lán)色小圓圈”。這表明，盡管模型能夠理解 “藍(lán)色” 和 “小” 的組合，但它并未通過(guò)簡(jiǎn)單的文本提示掌握這一能力。

研究人員還將這一方法擴(kuò)展到實(shí)際數(shù)據(jù)集，例如 CelebA，它包含多種面部圖像屬性如性別和微笑。結(jié)果顯示，模型在生成微笑女性圖像時(shí)表現(xiàn)出隱藏能力，而在使用基本提示時(shí)則顯得乏力。此外，初步實(shí)驗(yàn)還發(fā)現(xiàn)，使用 Stable Diffusion1.4時(shí)，過(guò)度提示可以生成不尋常的圖像，如三角形的信用卡。

因此，研究團(tuán)隊(duì)提出了一種關(guān)于隱藏能力的普遍假設(shè):生成模型具備潛在能力，這些能力在訓(xùn)練過(guò)程中突然且一致地出現(xiàn)，盡管模型在面對(duì)普通提示時(shí)可能不會(huì)表現(xiàn)出這些能力。

劃重點(diǎn):

?? AI 模型在學(xué)習(xí)過(guò)程中展現(xiàn)出潛在的隱藏能力，超出了常規(guī)提示所能激發(fā)的水平。

?? 通過(guò) “潛在干預(yù)” 和 “過(guò)度提示” 等技術(shù)，研究人員能夠激活這些隱藏能力，生成意想不到的圖像。

?? 研究分析了 “概念空間” 的學(xué)習(xí)動(dòng)態(tài)，表明不同概念的學(xué)習(xí)速度受數(shù)據(jù)特征的影響。