利用以前用戶的數(shù)據(jù)來加速優(yōu)化，在適應(yīng)個(gè)人特征的同時(shí)利用共享特征

（中國AI網(wǎng) 2025年06月24日）由于用戶的運(yùn)動能力、偏好和行為不同，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)中的輸入交互最佳設(shè)置在個(gè)體之間差異很大。今天的交互系統(tǒng)要么通常忽略這種可變性，要么依賴于手動用戶調(diào)整和明確的校準(zhǔn)程序，這可能導(dǎo)致交互效率低下或增加設(shè)置時(shí)間。

盡管Human-in-the-Loop優(yōu)化有可能在使用過程中確定最佳設(shè)置，但由于其優(yōu)化過程較長，所以很少應(yīng)用。更有效的方法是不斷利用以前用戶的數(shù)據(jù)來加速優(yōu)化，在適應(yīng)個(gè)人特征的同時(shí)利用共享特征。

Human-in-the-Loop（人機(jī)協(xié)同/人在回路） 是一種將人類智能與人工智能系統(tǒng)緊密結(jié)合的方法論。其核心思想是：在AI系統(tǒng)的關(guān)鍵環(huán)節(jié)引入人類的判斷、決策或反饋，形成一個(gè)“人機(jī)協(xié)作閉環(huán)”，從而提升系統(tǒng)的準(zhǔn)確性、可靠性和適應(yīng)性。

在一項(xiàng)研究中，蘇黎世聯(lián)邦理工學(xué)院團(tuán)隊(duì)介紹了Continual Human-in-the-Loop Optimization和基于貝葉斯優(yōu)化的方法，利用貝葉斯神經(jīng)網(wǎng)絡(luò)代理模型來捕獲種群水平特征，同時(shí)適應(yīng)新用戶。他們提出了一種生成式重放策略來減輕災(zāi)難性遺忘，隨著用戶基數(shù)的增加，適應(yīng)時(shí)間可以縮短。

由于用戶的運(yùn)動能力、偏好和行為不同，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)中的輸入交互最佳設(shè)置在個(gè)體之間差異很大。今天的交互系統(tǒng)要么通常忽略這種可變性，要么依賴于手動用戶調(diào)整和明確的校準(zhǔn)程序，這可能導(dǎo)致交互效率低下或增加設(shè)置時(shí)間。

人在回路優(yōu)化（HiLO）提出了一種替代方法，基于用戶過去的特定設(shè)計(jì)參數(shù)的性能來優(yōu)化交互。HiLO已在廣泛的應(yīng)用中證明其有效性，包括目標(biāo)選擇、文本輸入和視覺設(shè)計(jì)等。

盡管計(jì)算優(yōu)化器有助于避免對每個(gè)設(shè)計(jì)選項(xiàng)進(jìn)行詳盡的測試，并旨在以最少的用戶試驗(yàn)確定最佳解決方案，從而減少用戶花在次優(yōu)設(shè)置的時(shí)間，但HiLO廣泛采用的一個(gè)重要障礙是其相對較低的樣本效率。在沒有先驗(yàn)信息的情況下，HiLO通常依賴于初始隨機(jī)搜索來探索問題空間，需要大量的試驗(yàn)來收斂到最優(yōu)解。

另外，每個(gè)用戶都必須從頭開始優(yōu)化過程。例如，優(yōu)化3D選擇的傳遞函數(shù)可能需要每個(gè)用戶花費(fèi)60到90分鐘。盡管單個(gè)用戶在不同的輸入設(shè)置下可能有不同的偏好和性能，但可以利用用戶群中的共享特征來提高用戶之間的優(yōu)化器效率。

理想情況下，隨著來自先前用戶的數(shù)據(jù)的積累，優(yōu)化將變得更加高效，允許后續(xù)用戶從先前的優(yōu)化經(jīng)驗(yàn)中受益，同時(shí)保持足夠的靈活性，以確保發(fā)現(xiàn)適合個(gè)人需求的最佳解決方案。

所以在一項(xiàng)研究中，蘇黎世聯(lián)邦理工學(xué)院團(tuán)隊(duì)研究了這樣一個(gè)問題：優(yōu)化器能否不斷地從先前的用戶體驗(yàn)中學(xué)習(xí)，從而隨著時(shí)間的推移提高效率？

盡管有潛力，但目前的計(jì)算方法并不支持對HiLO進(jìn)行不斷改進(jìn)的優(yōu)化。另外在現(xiàn)有的研究文獻(xiàn)中，問題本身和相應(yīng)的挑戰(zhàn)并沒有得到徹底的闡述。一個(gè)相關(guān)的概念是元貝葉斯優(yōu)化，它結(jié)合了元學(xué)習(xí)和貝葉斯優(yōu)化。有的研究演示了在線HiLO中使用元貝葉斯優(yōu)化，其中一批“優(yōu)先用戶”需要從頭開始經(jīng)歷一個(gè)完整的優(yōu)化過程，使優(yōu)化器能夠更有效地處理后續(xù)“最終用戶”。

然而，這種方法有一個(gè)關(guān)鍵的限制：部署期間的計(jì)算時(shí)間隨著先前用戶的數(shù)量增加而增加，從而導(dǎo)致可擴(kuò)展性問題。超過某一點(diǎn)，它就變得不切實(shí)際，因?yàn)橛脩粼谶m應(yīng)過程中會遇到嚴(yán)重的延遲。另外，所述方法假設(shè)“優(yōu)先用戶”可以投入足夠的時(shí)間來進(jìn)行徹底的優(yōu)化，但這在實(shí)踐中可能不可行。換句話說，所述方法不適合直接轉(zhuǎn)換為持續(xù)學(xué)習(xí)框架。

另一個(gè)密切相關(guān)的概念是持續(xù)學(xué)習(xí)，其中模型通過在不同任務(wù)之間積累知識來提高其預(yù)測能力（在HiLO上下文中，任務(wù)是針對特定用戶進(jìn)行優(yōu)化）。最近眼鏡出現(xiàn)了關(guān)于優(yōu)化背景下持續(xù)學(xué)習(xí)的研究，但它們的目標(biāo)問題僅限于線性離散問題，其中典型的HiLO處理與連續(xù)和多維參數(shù)空間的相互作用。HiLO面臨的獨(dú)特挑戰(zhàn)和相應(yīng)的持續(xù)學(xué)習(xí)方法未得到解決和探索。

為了填補(bǔ)研究空白，團(tuán)隊(duì)提出了持續(xù)人在回路優(yōu)化（CHiLO）的問題和概念。這種計(jì)算優(yōu)化器，能夠通過利用以前用戶積累的經(jīng)驗(yàn)不斷提高效率和性能（如圖所示）。

團(tuán)隊(duì)進(jìn)一步確定了與持續(xù)學(xué)習(xí)相一致的關(guān)鍵技術(shù)挑戰(zhàn)，包括可擴(kuò)展性、災(zāi)難性遺忘、穩(wěn)定性-可塑性困境，以及由于觀測數(shù)據(jù)分布不均勻而導(dǎo)致的模型不穩(wěn)定性。相關(guān)挑戰(zhàn)指導(dǎo)了構(gòu)建CHiLO方法的設(shè)計(jì)原則。

最后，團(tuán)隊(duì)提出了一種新的方法——種群信息連續(xù)貝葉斯優(yōu)化（ConBO）。ConBO的核心是一個(gè)貝葉斯神經(jīng)網(wǎng)絡(luò)（BNN），它的訓(xùn)練數(shù)據(jù)是由以前用戶的單個(gè)模型合成，每個(gè)模型都代表一組獨(dú)特的用戶特征。所述方法通過逐步將種群水平的用戶體驗(yàn)與每個(gè)新用戶集成，以促進(jìn)更穩(wěn)定和健壯的持續(xù)優(yōu)化。

研究人員使用一系列標(biāo)準(zhǔn)基準(zhǔn)優(yōu)化函數(shù)驗(yàn)證了ConBO的有效性和泛化性，并證明了ConBO可以隨著用戶數(shù)據(jù)的積累而提高優(yōu)化效率。最后，他們應(yīng)用ConBO來優(yōu)化VR中使用文本輸入的懸空鍵盤配置。評估顯示，與針對每個(gè)用戶從頭開始優(yōu)化相比，隨著用戶數(shù)量的增加，用戶性能和收斂時(shí)間都有了顯著改善。

相關(guān)論文：Continual Human-in-the-Loop Optimization
https://arxiv.org/pdf/2503.05405

總的來說，團(tuán)隊(duì)解決了人在回路優(yōu)化中的一個(gè)新挑戰(zhàn)：優(yōu)化器如何不斷積累經(jīng)驗(yàn)并隨著時(shí)間的推移而改進(jìn)？團(tuán)隊(duì)提出了ConBO。這種基于貝葉斯神經(jīng)網(wǎng)絡(luò)的方法通過種群模型捕獲種群級用戶特征，并使用以前用戶的存儲模型結(jié)合生成記憶重播機(jī)制。ConBO在VR懸空文本輸入方面的評估表明，在適應(yīng)效率和整體性能方面，它比標(biāo)準(zhǔn)貝葉斯優(yōu)化有了顯著改善，同時(shí)在不需要明確用戶反饋的情況下提供與手動調(diào)整相當(dāng)?shù)男阅堋?/p>

隨著時(shí)間的推移，結(jié)果進(jìn)一步顯示出明顯的改進(jìn)趨勢，后來的用戶組從系統(tǒng)積累的知識中受益。這說明了ConBO在向以前的用戶學(xué)習(xí)的過程中逐步提高適應(yīng)效率的能力。

團(tuán)隊(duì)表示，隨著系統(tǒng)在用戶、設(shè)備和任務(wù)之間的改進(jìn)，ConBO可以成為未來真正自適應(yīng)和個(gè)性化交互的關(guān)鍵推動者，并最終演變?yōu)闉閺V泛的應(yīng)用實(shí)現(xiàn)高效和無摩擦的交互。