機(jī)器人利用強(qiáng)化學(xué)習(xí)來(lái)3D雕刻沙子

2025年9月16日，南極熊獲悉，arXiv上發(fā)表的一項(xiàng)題為“Interactive Shaping of Granular Media Using Reinforcement Learning”的研究詳細(xì)介紹了波恩大學(xué)的研究人員如何開發(fā)一種強(qiáng)化學(xué)習(xí)框架，使機(jī)器人能夠?qū)⑸匙拥阮w粒狀介質(zhì)操縱成目標(biāo)形狀。

論文鏈接：https://doi.org/10.48550/arXiv.2509.06469

研究系統(tǒng)訓(xùn)練一個(gè)配備立方體末端執(zhí)行器和立體攝像頭的機(jī)械臂，將松散的材料重塑成各種形狀，包括矩形、L 形、多邊形以及考古壁畫碎片的底片。實(shí)驗(yàn)表明，模型的精度達(dá)到了毫米級(jí)，訓(xùn)練后的智能體優(yōu)于兩種基準(zhǔn)方法，并且無(wú)需額外訓(xùn)練即可從模擬系統(tǒng)成功遷移到實(shí)體機(jī)器人。

顆粒材料因其高維配置空間和不穩(wěn)定的動(dòng)力學(xué)特性，給機(jī)器人技術(shù)帶來(lái)了挑戰(zhàn)。基于規(guī)則的方法常常會(huì)失敗，而粒子模擬的計(jì)算成本又非常高昂。研究人員通過(guò)設(shè)計(jì)緊湊的觀測(cè)空間和引導(dǎo)學(xué)習(xí)的獎(jiǎng)勵(lì)函數(shù)來(lái)應(yīng)對(duì)這些挑戰(zhàn)。視覺(jué)策略的訓(xùn)練使用了截?cái)喾治粩?shù)評(píng)論算法 (TQC)，這是一種離線強(qiáng)化學(xué)習(xí)算法。來(lái)自 ZED 2i 立體攝像機(jī)的深度圖像被轉(zhuǎn)換為??高度圖，使機(jī)器人能夠以適合高效訓(xùn)練的形式比較當(dāng)前結(jié)構(gòu)和目標(biāo)結(jié)構(gòu)。

△機(jī)器人的任務(wù)是利用立方體末端執(zhí)行器操縱顆粒介質(zhì)，使其盡可能接近目標(biāo)形狀。圖片來(lái)自波恩大學(xué)。

研究系統(tǒng)根據(jù)隨機(jī)策略和牛耕式覆蓋路徑規(guī)劃基線進(jìn)行了評(píng)估。在 400 種目標(biāo)形狀中，學(xué)習(xí)到的代理始終優(yōu)于這兩種方法。使用增量獎(jiǎng)勵(lì) (DELTA) 公式，機(jī)器人實(shí)現(xiàn)的平均高度差為 3.4 毫米，而規(guī)劃方法為 4.8 毫米，隨機(jī)運(yùn)動(dòng)為 7.2 毫米。執(zhí)行時(shí)間也更短，平均為 23.5 步，而路徑規(guī)劃基線為 44 步。代理還修改了目標(biāo)區(qū)域中 97% 的相關(guān)單元，而隨機(jī)運(yùn)動(dòng)僅為 54%。執(zhí)行步數(shù)定義為末端執(zhí)行器連續(xù)三步離開顆粒介質(zhì)的動(dòng)作次數(shù)。統(tǒng)計(jì)測(cè)試證實(shí)，DELTA 策略顯著優(yōu)于所有替代方案。

該項(xiàng)目由波恩大學(xué)人形機(jī)器人實(shí)驗(yàn)室、自主智能系統(tǒng)實(shí)驗(yàn)室和機(jī)器人中心參與，并與拉瑪機(jī)器學(xué)習(xí)和人工智能研究所合作。資金來(lái)自歐盟委員會(huì)“地平線2020”計(jì)劃下的“RePAIR”項(xiàng)目，以及德國(guó)聯(lián)邦教育和研究部通過(guò)德國(guó)機(jī)器人研究所倡議提供的資金。

△采用訓(xùn)練過(guò)程，使代理能夠利用傳感輸入操縱顆粒介質(zhì)。通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練視覺(jué)策略，基于當(dāng)前目標(biāo)高度圖與期望目標(biāo)高度圖之間的差異，實(shí)現(xiàn)目標(biāo)形狀配置。圖片來(lái)自波恩大學(xué)。圖片來(lái)自波恩大學(xué)。

進(jìn)一步的實(shí)驗(yàn)檢驗(yàn)了設(shè)計(jì)選擇。當(dāng)移除目標(biāo)區(qū)域移動(dòng)獎(jiǎng)勵(lì)時(shí)，智能體完全避免了操作行為，表現(xiàn)并不優(yōu)于隨機(jī)基線。特征提取器消融實(shí)驗(yàn)表明，所提出的基于門控的編碼器實(shí)現(xiàn)了最佳性能，平均誤差為 3.4 毫米，而直接依賴深度圖像時(shí)的平均誤差為 4.6 毫米。算法比較證實(shí)，TQC 實(shí)現(xiàn)了穩(wěn)定的收斂，而 Soft Actor-Critic 算法出現(xiàn)滯后，Twin Delayed Deep Deterministic Policy Gradient 算法則未能收斂。論文中鏈接的補(bǔ)充網(wǎng)站提供了更多詳細(xì)信息、視頻和代碼。

在UR5e機(jī)械臂上的部署驗(yàn)證了該方法在模擬之外的有效性。盡管存在傳感器噪聲和不平坦的起始表面，機(jī)器人仍能重現(xiàn)矩形等目標(biāo)形狀，結(jié)果與模擬結(jié)果相似。能夠直接從模擬訓(xùn)練環(huán)境遷移到實(shí)際執(zhí)行，證明了框架的穩(wěn)健性。

△從左到右依次為模擬中重建的3D場(chǎng)景。圖片來(lái)自波恩大學(xué)。

顆粒介質(zhì)操控研究涵蓋挖掘、平整和地外土壤處理等諸多領(lǐng)域。許多方法依賴于計(jì)算量巨大的有限元或離散元模擬，或依賴于針對(duì)特定任務(wù)定制的模仿學(xué)習(xí)流程。通過(guò)將高效的高度圖表示與精心設(shè)計(jì)的獎(jiǎng)勵(lì)公式相結(jié)合，波恩團(tuán)隊(duì)證明了強(qiáng)化學(xué)習(xí)可以自適應(yīng)地塑造顆粒介質(zhì)，而無(wú)需制定規(guī)則。

作者總結(jié)道，他們的方法始終優(yōu)于傳統(tǒng)基線方法，并為自適應(yīng)機(jī)器人操控可變形材料建立了一條可行的途徑。