久久一日本道色综合久久_国产最爽的av片在线观看_精品成人Av一区二区三区_94久久国产乱子伦精品免费_国产三级网站在线观看_和女邻居做爰在线观看_wymfw最新免费_国产强奷在线免费阅读_95在线观看视频

關鍵問題：為什么多模態(tài)融合感知是機器人操作的發(fā)展方向？
　　關鍵詞：視覺、聽覺、觸覺融合感知
　　正文摘要
　　多模態(tài)（視覺、聽覺、觸覺）融合感知將在智能機器人操作中發(fā)揮至關重要的作用。機器人操作是機器人與環(huán)境交互的基本能力，視覺可以可靠地捕捉全局設置，音頻即使在被視覺遮擋的情況中也會立即發(fā)出警報，觸覺可以提供物體的精確局部幾何結構，表征目標的狀態(tài)。過去，工業(yè)機器人通過編程或拖動示教的方式，針對特定任務，可以保證機器人執(zhí)行任務的可靠性和高效性。未來，智能機器人在面對復雜場景和無序場景，應對不確定性和多變任務時，利用多模態(tài)融合感知進行機器人操作的研究變得非常重要。目前，視覺與聲學的融合是研究較為集中的領域，視覺與觸覺的融合的研究還遠遠不夠。
　　視覺傳感器：攝像頭的像素和拍攝幀率不斷提高，體積不斷縮小，深度相機成為視覺傳感器的新需求?；谏疃葘W習的方法，利用物體不同位姿的RGB及深度圖像作為樣本訓練網絡，能夠輸出物體的類別及姿態(tài)。目前應用比較多的是Intel的雙目結構光，分辨率最高為1280像素*720像素，頻率為90Hz的深度信息，且不易受到陽光中的紅外線干擾，能在室外強光環(huán)境中使用。TOF目前的分辨率普遍為640*480像素，仍需提高。與工業(yè)場景不同，在生活場景中，很多物體剛性低，在操作過程中容易發(fā)生形變，準確識別物體的形變程度并判斷當前操作的狀態(tài)很重要，視覺傳感器主要通過跟蹤物體表面特征點的位置變化來判斷，精度不高。
　　觸覺傳感器：應變、壓阻、電容、視覺幾類各有優(yōu)劣。1）基于應變的傳感器精度較高，應用于各類多維力和力矩傳感器。2）壓阻及電容傳感器是根據外力產生的電阻、電容變化來計算受力，可以以薄膜傳感器的形式出現，設計成陣列式來使用，受材料和工藝影響大，MEMS工藝是主要方向。3）基于視覺的傳感器是新興的類型，在判定和區(qū)分物體紋理上有較大優(yōu)勢，但是尺寸很難縮小。瑞士蘇黎世聯(lián)邦理工學院開發(fā)了一種多相機光學觸覺傳感器，由四個攝像頭組成，這些攝像頭位于柔軟、透明的材料下面，該材料內部含有嵌入式的散布球形顆粒。攝像頭跟蹤這些球形顆粒的運動，當有外力施加到材料上時，材料的變形會引發(fā)這些球形顆粒的運動。研究人員還開發(fā)了一種機器學習架構，分析球形粒子的運動，該系統(tǒng)可以重建導致材料變形的力，提供施加到其表面的接觸力分布信息。
　　基于視觸融合的機器人操作，可以彌補單一傳感信息在完成復雜任務時所面臨的問題。多傳感器融合可以對物體高效率、高精度地進行三維建模，進行物體分類，并且對滑覺檢測有更強的適應力。但是，視覺與觸覺模態(tài)的融合具有很大挑戰(zhàn)，體現在：1）視覺模態(tài)容易獲取，觸覺模態(tài)更困難，兩種模態(tài)數據量相差較大；2）所見非所摸，采集到的視覺信息和觸覺信息很難進行配對。未來需要在視觸融合的認知機理、計算模型、數據集、應用系統(tǒng)上綜合解決融合感知、融合學習、融合計算問題。
　　斯坦福李飛飛教授提出了同時利用視覺、聲學、觸覺來進行機器人操縱任務的框架。具體包括如何捕獲視覺（來自相機）、聲學（來自接觸式麥克風）、觸覺數據（來自觸覺傳感器）及其各自的特征；用于融合多種模態(tài)的多感官自注意力模型框架；如何利用多感官數據完成具有挑戰(zhàn)性的機器人任務，即密集包裝和傾倒。對于視覺、音頻和觸覺在機器人操作任務中的作用，通過實驗有以下結論：視覺通常提供物體的位置信息，但它經常受到遮擋。音頻提供即時反饋，還指示對象的特性，如材質，但在沒有接觸時信息量較小。觸覺捕捉手上物體的動力學，這可以很好地表征局部幾何形狀以及接觸力的方向和大小。
　　風險提示：1）新技術出現；2）投資過度。