目標(biāo)定位：涉及無(wú)分類(lèi)的目標(biāo)定位、目標(biāo)檢測(cè)和目標(biāo)實(shí)例分割，為機(jī)械臂提供目標(biāo)對(duì)象的區(qū)域信息。

目標(biāo)姿態(tài)估計(jì)：對(duì)6D目標(biāo)姿態(tài)進(jìn)行估計(jì)，包括基于對(duì)應(yīng)的方法、基于模板的方法和基于投票的方法，為已知目標(biāo)生成抓取姿態(tài)。

抓取估計(jì)：包括二維平面抓取方法和6自由度抓取方法，前者被約束為從一個(gè)方向抓取。

視覺(jué)抓取中的關(guān)鍵技術(shù)

手眼標(biāo)定：確定相機(jī)和機(jī)械臂本身的位置關(guān)系，分為眼在手上和眼在手外兩種方式。

物體識(shí)別與定位：使用ROS功能包find_object_2d、TensorflowObjectDetectionAPI、object_recognition等實(shí)現(xiàn)物體的識(shí)別與定位。

抓取姿態(tài)分析：分析抓取物體的姿態(tài)，是視覺(jué)抓取中的一個(gè)難點(diǎn)。

視覺(jué)機(jī)械臂自主抓取全流程

相機(jī)標(biāo)定：校正相機(jī)的畸變，獲取真實(shí)的空間位置。

手眼標(biāo)定：將物體的位置從相機(jī)坐標(biāo)系轉(zhuǎn)換到機(jī)械臂坐標(biāo)系中。

物體識(shí)別與定位：通過(guò)攝像頭獲取目標(biāo)物體的位置。

抓取規(guī)劃與執(zhí)行：計(jì)算機(jī)械臂末端執(zhí)行器的位姿，規(guī)劃出合適的路徑，驅(qū)動(dòng)機(jī)械臂抓取物體。

應(yīng)用實(shí)例

工業(yè)生產(chǎn)線上的應(yīng)用

MicroPos機(jī)械手視覺(jué)定位算法能實(shí)現(xiàn)高精度的高度定位和傻瓜式操作，提升了物流行業(yè)的包裹分揀效率。

ROS機(jī)械臂視覺(jué)抓取實(shí)驗(yàn)

介紹了基于機(jī)器視覺(jué)的ROS機(jī)械臂抓取系統(tǒng)，強(qiáng)調(diào)了準(zhǔn)確識(shí)別與定位目標(biāo)物塊的重要性。