基于双目视觉的运动目标实时追踪与测距

本文是通信工程论文，本文主要研究工作总结为以下几个方面：（1）本文将运动目标的检测与追踪引入到双目测距中，设计一套完整的主动测距应用系统，包括摄像头标定、对象检测追踪、立体匹配、距离计算等步骤，实现对运动目标的实时精确测距功能。（3）既可以定位追踪每一帧的测距目标，又可以将ROI从整幅图中提取出来，提取出的区域代替整幅图像进行立体匹配，有效地减少了计算量，提高了整个双目测距方法的速度。（4）由于立体匹配是决定整个测距方法精度的关键步骤，因此本文从全局角度出发，设计了适用于本文测距系统的立体匹配算法，通过基于线性插值法的匹配代价计算和基于多方向一维动态规划的匹配代价聚合保证了视差的精确度，提出了基于CIELab彩色空间的视差细化方法，通过色彩相似度来更新视差，减少了匹配的误差。

第一章绪论

双目立体视觉作为计算机视觉研领域的热门分支，有着单目视觉无法相比的优势。基于双目视觉的深度估计在机器人自主导航避障、自动驾驶、三维重建及虚拟现实等工程领域和现实生活中有重大应用意义，故本文的研究方向为基于双目立体视觉的测距技术。根据上一章节的研究现状可以发现，由于双目测距应用环境的日益复杂，仅仅针对静态目标的双目测距已经无法满足人们的应用需求，故本文将运动目标的检测与追踪引入到双目测距中，设计了完整的主动测距应用方法，包括摄像头标定、对象检测追踪、立体匹配、距离计算等步骤，实现对运动目标的实时精确测距。针对现有双目测距方法存在耗时过长的问题，本文提出基于目标追踪ROI提取方法，根据追踪的结果将感兴趣区域从左右图像提取出来，将提取出的图像对进行立体匹配。由于本文的研究方法中立体匹配是决定整个测距方法精度的关键步骤，因此本文从全局角度出发，设计了适用于本文测距方法的立体匹配算法，通过基于线性插值法的匹配代价计算和基于多方向一维动态规划的匹配代价聚合保证了初始视差的精确度。又提出了基于CIELab彩色空间的视差细化方法，通过色彩相似度来更新视差，减少了匹配的误差。本文测距方法通过该算法保证了测距的精确度，同时利用ROI提取方法提高了实时性，真正做到了精度与速度的平衡。

第二章双目立体视觉相关原理

2.1双目立体视觉的基本理论

双目测距最重要的一个环节就是从二维图像信息中获取到三维场景中目标物体的几何信息，基于此来重建与识别物体。物体上一点在三维空间中的几何位置和该点映射在二维平面图像中的点之间的转换关系取决于摄像机成像模型参数。在一般情况下，摄像机参数需要通过实验和相应的计算才能得到，这一过程就是摄像头标定。双目摄像头标定要确定摄像头自身的内外参数，内参数与相机自身的属性结构相关，有焦距、成像平面中心点坐标、像素的物理尺寸、畸变参数等，内参数一般是固定不变的。而外参数是描述摄像机与世界坐标系的位置关系，包括3阶正交旋转矩阵R和三维平移向量T。本文使用张正友棋盘格标定法[26]来确定这些参数。相比于传统标定法需要精度高的标定物，张正友标定法仅打印一张棋盘格纸作为标定物即可，同时与自标定法相比，精度有了很大提升，因此在计算机视觉领域应用范围较广。

2.2双目摄像头标定

极线校正就是利用极线约束条件将左右图像的极线对齐，主要过程如图2.11所示，投影矩阵通过一定的几何变换形成一个新的投影矩阵来对齐极线。在之前的标定中，得到了左右摄像头各自的投影矩阵，将左右摄像头分别围绕着各自的光心旋转直至两个焦平面在同一平面上。目前较为成熟的校正方法就是Bouguet立体校正算法。经过极线校正后，立体匹配下的像素对都在同一条极线上。本章主要对本文测距方法中涉及到的相关背景知识做了详细的介绍。首先介绍了摄像头的成像原理以及图像坐标系、摄像机坐标系和世界坐标系之间的坐标转换关系，同时对实际镜头产生的畸变进行了分析。接着介绍了双目视觉的测距原理，并且分析出通过摄像机标定参数与立体匹配的视差就可以获得深度信息。在此基础上，介绍了张正友棋盘格标定原理，使用Matlab工具箱进行了摄像机标定实验。最后，介绍了立体匹配理论中的极线几何与极线校正。

第三章基于双目视觉的运动目标测距方法.......................................................................................................18

3.1引言..........................................................................................................................................................18
3.2运动目标实时追踪..................................................................................................................................19

第四章基于双目视觉的立体匹配算法...............................................................................................................34

4.1立体匹配概述..........................................................................................................................................34

4.2立体匹配算法研究..................................................................................................................................35

4.3本文立体匹配算法..................................................................................................................................38

第五章总结与展望...............................................................................................................................................47

第四章基于双目视觉的立体匹配算法

4.1立体匹配概述

在双目视觉中，立体匹配是一种寻找三维空间点在左右投影平面中对应成像点的对应性求解问题，它是双目测距中最关键的一步。立体匹配的精确度会影响到视差图的质量，也决定了测距的准确性。立体匹配一般是以一幅图为基准图，对于图中的每个像素点，按照一定的匹配准则，在另一幅图中搜索与之相对应的匹配点，计算两者坐标上的差异，以此循环匹配所有的点，形成视差图。立体匹配被认为是计算机视觉中较为困难的问题，一方面在匹配低纹理或重复性纹理区域时，由于缺少相对能描述像素点唯一层次特征的信息，存在一个点对应多个点的情况，因此如何减小搜索的空间和候选点成为立体匹配的研究问题。另一方面，在实际场景中，存在光学噪声和失真、物体的空间关系复杂、物体被遮掩等情况导致的无法匹配到正确的对应点。如何提高匹配的精确度和鲁棒性成为目前研究的重点。当前，立体匹配的研究方向大致分为两类，一类是从模拟人眼的立体视觉机制出发，建立通用的立体视觉计算机模型。然而目前已有的计算机视觉系统无法灵活到完全替代人眼视觉，还需要进一步研究和提升。另一类是从实际开发应用考虑，由具体场景研究设计相应的匹配基元和算法，这一类都是通过实际场景的先验信息，加以约束条件，从而提高立体匹配算法的实用性[43]。本文将从后者出发，设计适合的立体匹配方法。

4.2立体匹配算法研究

图像分割同样也是一种比较常用的优化方法，主要是利用自身的结构特性将图像分割成多个区域，各个区域独立地迭代优化各自的全局能量函数。这样既保证了全局算法的匹配精确度，也保留了图像的结构信息。图像分割一般都是依据图像特征来进行划分，根据选取的特征分为几类方法：基于像素的分割，不考虑图像的纹理和边缘信息，只以像素点的颜色特征进行划分，适用于颜色比较突出的目标图像；基于区域的分割，以图像中各个区域块之间的连通性作为约束，再结合区域生长、区域分裂以及聚合技术来实现；基于边界的分割，根据求取到的图像边缘来划分图像；基于模型的分割，大多数以MRF(Markov随机场)等空间交互模型进行图像建模。颜珂等人将基于MRF的图像分割算法做了改进[62]，先进行图像的分割再以此建立相应的立体匹配MRF模型，利用约束条件来充分保留分割的结构信息，从而得到精确的视差图。

第五章总结与展望

本文测距方法通过该算法保证了测距的精确度，同时利用ROI提取方法提高了实时性，实现了精度与速度的平衡。双目立体视觉作为计算机视觉研究领域的重要分支之一，不仅可以识别定位目标物体，还能够获得目标物体的深度信息。基于双目视觉的深度估计在机器人自主导航避障、自动驾驶、三维重建及虚拟现实等工程领域和现实生活中有重大应用意义，故本文的研究方向为基于双目立体视觉的距离估测。（5）实验展示了本文测距方法的实用性，通过实时性对比证明了ROI提取方法的有效性，实验验证了本文方法在细小物体上的可行性。实验分析了基线长度对测距精度的影响，将本文匹配算法与BM算法和SGM算法进行视差图对比，与其他两个双目测距方法进行了距离值精确度对比，证明了本文匹配算法的有效性。实验结果证明，在基线为151mm下本文测距方法在88cm-300cm范围内的测量精度可达到95%以上。
参考文献（略）