天津机器人视觉系统组成及定位算法是怎样的
机器人研究的核心就是:导航定位、路径规划、避障、多传感器融合。定位技术有几种,不关心,只关心视觉的。天津机器人视觉系统技术用到“眼睛”可以分为:单目,双目,多目、RGB-D,后三种可以使图像有深度,这些眼睛亦可称为VO(视觉里程计:单目or立体),在机器人和计算机视觉问题中,天津机器人视觉系统里程计就是一个通过分析处理相关图像序列来确定机器人的位置和姿态。
由于数字图像处理和计算机视觉技术的迅速发展,越来越多的研究者采用摄像机作为全自主用移动机器人的感知传感器。这主要是因为原来的超声或红外传感器感知信息量有限,鲁棒性差,而视觉系统则可以弥补这些缺点。而现实世界是三维的,而投射于摄像镜头(CCD/CMOS)上的图像则是二维的,视觉处理的终目的就是要从感知到的二维图像中提取有关的三维世界信息。
系统基本组成:CCD、PCI、PC及其外设等。
天津机器人视觉系统定位算法基本过程:
简单的算法过程,可基于OpenCV进行简单实现。
输入:通过摄像头获取的视频流(主要为灰度图像,stereo VO中图像既可以是彩色的,也可以是灰度的 ),记录摄像头在t和t+1时刻获得的图像为It和It+1,相机的内参,通过相机标定获得,可以通过matlab或者opencv计算为固定量。
输出:计算每一帧相机的位置+姿态
基本过程:
获得图像It,It+1
对获得图像进行畸变处理
通过FAST算法对图像It进行特征检测,通过KLT算法跟踪这些特征到图像It+1中,如果跟踪特征有所丢失,特征数小于某个阈值,则重新进行特征检测
通过带RANSAC的5点算法来估计两幅图像的本质矩阵
通过计算的本质矩阵进行估计R,t
对尺度信息进行估计,确定旋转矩阵和平移向量