基于计算机视觉的汽车辅助驾驶关键技术研究

本文是计算机论文，论文首先对目前国内外在汽车辅助驾驶系统领域的最新研究成果进行了讨论与分析，发现采用计算机视觉在交通标志检测、车道线检测、行人人体姿态估计等具体细节问题的处理上仍存在可以改进的地方。为此，本文在前人研究成果的基础上，针对具体问题做了进一步的深入研究，具体做了以下一些工作：第二章主要阐述了基于计算机视觉的汽车辅助驾驶关键技术的相关理论基础，主要包括：深度学习的优化算法、数据预处理、交通标志检测、车道线检测、行人人体姿态估计技术相关算法方面的基本理论和基本算法。本文主要对基于计算机视觉的汽车辅助驾驶关键技术中的若干问题进行了研究，所给出的交通标志检测方法、车道线检测方法、行人人体姿态估计方法通过了实验验证，并且取得了一定的效果。为了降低汽车行驶过程中发生交通事故概率，本文主要研究内容包括：（1）交通标志检测技术（2）车道线检测技术（3）行人人体姿态估计技术.行人人体姿态估计算法在实际的使用中出现了较远目标无法检测的情况，下一步将继续优化模型，使得算法对小目标的检测效果得到提升。未来的汽车辅助驾驶系统必然是多种方法融合的技术。以后的研究方向需要将计算机视觉和雷达等其他设备进行信息的共享和融合。计算机视觉设备以其低成本、低重量、低功耗、高传输速率等优点[8]，在汽车辅助驾驶系统尤其是在行车环境感知方面有着广泛的应用。

第一章绪论

目前，考虑到价格、可靠性等因素，汽车辅助驾驶关键技术中的环境感知主要是以摄像机为主导的多种传感器融合方案，相比于其他方案，基于计算机视觉的硬件设备成本更低，性能也能满足使用。具体的，计算机视觉是利用摄像机等成像设备代替视觉器官作为输入手段，由计算机来代替大脑完成处理和解释的任务。计算机视觉的终极目标就是使计算机可以和人一样通过视觉观察和理解世界，具有自主适应环境的能力。尤其是在汽车辅助驾驶系统中计算机视觉是其不可分割的一部分，起着重要作用[7]。对交通标志的检测，可以对道路前方的交通标志进行准确实时的检测和分析，对驾驶员及时提醒，引导驾驶员进行下一步的操作，或者直接进行决策，避免因错过关键指示或驾驶员出现意外无法操作等特殊情况而造成事故或者不必要的损失；对车道线的检测是车道偏离预警系统的核心技术之一，可以检测车道位置，避免由于车道偏离而造成交通事故；对行人的姿态估计可以估计行人的当前姿态，进而判断行人当前的状态，根据更为详细的信息提前进行减速或者其他相应操作。首先，利用Sobel水平方向梯度对车道线边缘较为敏感的特点，确定车道线的水平方向边缘；其次，利用Hsv模型对黄色和白色车道线较为敏感的特点，精确车道线的具体位置，实验证明Sobel和Hsv双模型算法可以较好的检测白色、黄色的车道线；最后，在车道线拟合阶段，考虑到实际的行车情况对滑动窗算法进行优化，使用优化后的滑动窗算法对车道线进行拟合。与优化前的滑动窗算法相比大大提高了车道线拟合的速度。

人体关节点信息

第二章基于计算机视觉的汽车辅助驾驶关键技术相关理论

2.1深度学习优化算法

交通标志检测技术可以对图像中的交通标志进行分类、定位并且框出位置，返回标志的类别、图片的位置信息，同时可对一张图片中的多个目标进行检测，有着极强的实用性。通过返回交通标志的各种信息，行车电脑可以对驾驶员进行提醒或辅助决策，从而减少由于疲劳驾驶、注意力不集中或驾驶员突发疾病等情况而造成的生命财产损失。但是，交通标志检测技术仍面临众多挑战：(1)算法的准确性要求高。在交通标志检测算法中，准确性尤为关键，在实际的路况中充满着各种噪声，例如光照、阴影、遮挡、车辆的晃动等，都会对算法的准确性造成影响。(2)算法的实时性要求高。在驾驶过程中算法的实时性与反应时间密切相关，实时性越好，留给驾驶员的反应时间越充足。(3)交通标志种类复杂，世界上并没有形成统一的标准或者样式。本章以中国的交通标志为研究对象，标注和建立数据集，结合2.4.1节中对交通标志检测相关算法的分析和研究，使用基于改进SSD(SingleShotMultiBoxDetector)[47]目标检测算法进行交通标志检测，实验结果表明本章给出的交通标志检测方法在精确度和实时性方面都比原始的SSD方法有所提高。在优化网络的过程中，结合2.2节中对优化算法的分析和研究，给出了一种基于Adam和SGD方法的混合优化方法，实验结果表明，该混合方法可以进一步降低损失函数，减少迭代次数。图2.7中可以看出，在相同的学习率的前提下，AdaGrad算法逼近最优解速度最慢，RMSProp算法逼近最优解速度最快，而Adam算法逼近最优解的速度介于两者之间。优化算法虽然种类繁多，但是它们的本质都是一样的即通过计算梯度的方式去寻找损失函数的最优值。本文对这些优化算法研究后通过对比找到了相应较为理想的算法，并且取得了较好的效果。经过以上分析，本文将使用SGD和Adam算法对SSD算法进行优化。

2.2数据预处理

在计算机视觉的应用中，图像数据为基于RGB的二维图像，但是真实的世界是三维的。所以需要相应的模型来反映真实世界与采集图像的对应关系[26]，而建立模型所需要相机的某些参数，求解这些参数的过程即为相机标定。在基于计算机视觉的车道线检测技术中，畸变的图像对后续的检测有着极其负面的影响，所以需要消除图像畸变的影响。由于透镜的本身性质会使得光线发生折射，使得成像产生图像畸变，图像畸变会导致识别困难。为了减少这种畸变，通常利用计算畸变矫正系数来降低这种问题带来的影响。为了反应真实世界与图像的对应关系，尽量减少图像畸变的影响，需要建立以下坐标系：(1)世界坐标系：反映了真实三维世界中，建立在物体上的坐标系[27]。单位为m/s。(2)相机坐标系：以相机镜头为原点的坐标系，即建立在相机镜头上的坐标系[28]。单位为m/s。(3)图像坐标系：物体在相机中成像的坐标系，即物体通过相机镜头在相机中成像的坐标系[29]。单位为m/s。(4)像素坐标系：描述图片保存为数字矩阵所在坐标系，即在程序中存储为矩阵的坐标系。单位为个(像素数)。这四个坐标系之间的关系如图2.8所示。本章主要介绍了基于计算机视觉的汽车辅助驾驶关键技术的相关理论基础，主要包括：深度学习的优化算法、数据预处理、交通标志检测、车道线检测、行人人体估计技术相关算法。

训练模型流程

第三章交通标志检测技术.....................................................................................................36
3.1引言.............................................................................................................................36
3.2交通标志数据集的建立.............................................................................................36
3.3基于SSD算法的交通标志检测...............................................................................38
3.4实验.............................................................................................................................45
第四章车道线检测技术.........................................................................................................53
4.1引言.............................................................................................................................53
4.2车道线检测流程和数据集预处理.............................................................................53
4.3基于双模型的车道线检测算法.................................................................................58
4.4改进的基于滑动窗搜索的车道线检测算法.............................................................63

第五章行人人体姿态估计技术.............................................................................................73

5.1引言.............................................................................................................................73

5.2人体关节点数据集的建立.........................................................................................73

第五章行人人体姿态估计技术

5.1引言

行人人体姿态估计技术是比行人检测更加高级的技术，不仅能和行人检测技术一样检测出行人的位置，另外还可以实时检测出行人的具体肢体位置，对行人的实时状态进行检测和判断，是对行人行为的更深刻理解，从而可以更具有针对性的对驾驶员进行辅助决策，具有极强的实用价值和广阔的应用前景。人体姿态是人机交互中非常重要的信息传递或感知通道，基于计算机视觉的人体姿态识别可以感知和理解人的身体动作，并进行相应的反馈或操作。本章主要研究基于计算机视觉的行人人体姿态估计技术。在基于计算机视觉的汽车辅助驾驶关键技术中，对行人人体姿态的估计可以及时的提醒驾驶员，提高其注意力，提前对有可能出现的意外情况做好准备，从而一定程度上避免生命和财产损失。所以研究行人人体姿态估计算法在汽车辅助驾驶领域具有重要的理论价值和实用价值。行人人体姿态估计主要有如下困难：带标注数据的缺乏，数据的标注必不可少，而大量的带有标注的数据集却不多，构建适合国人的人体姿态模型需要大量的人力物力；行人的不确定因素极高，出现和消失以及行动轨迹都难以判断，而行人的姿态往往能反应行人下一步的动作，可以对驾驶员进行提醒，提高注意力，从而避免突发情况；真实路况下行人较多，遮挡严重、光线变化、复杂背景等因素也导致行人的检测较为困难；紧急情况往往事发突然，越早识别行人的异常姿态，越能为驾驶员争取反应的时间，所以检测算法的实时性必须要保证。如何找到一种既能满足实时性而且有较高的准确率的行人人体姿态估计算法，为下一步的行人人体姿态检测技术提供算法支撑是本章的重点研究方向。

5.2人体关节点数据集的建立

在本实验中，为了方便数据的读取，采集完成的数据集命名方式为数字依次递增的命名方式。首先读取起始图片，将图片的序号存入名叫record的文件中，使用os模块下的open方法打开文件，使用readlines(-1)方法读取最后一行，即可读取指定序号的图片，这样还可以防止程序意外中断后，可以读取存档，继续进行标注工作；如果输入的序号不存在则提示重新输入；使用tkinter模块显示当前读取的图像，同时，读取相应的关节点坐标数据，并且创建画布进行显示；对关节点位置进行判断，如果全部位置正确则进行保存，如果出现错误，则将错误关节点进行删除并且重新进行标注，然后保存修正后的关节点；接着继续读取下一张图片，重新开始流程，如果图像全部标注完毕则流程结束。本章主要使用了Python中的tkinter模块进行窗口和画布的搭建，使用PIL模块显示原始图像，使用os模块对格式为json关节点数据进行读取和保存。另外，还加入了鼠标按键功能，使得标注更加方便快捷，共创建4个按键，分别为写入、清除、撤销和返回，如果当前图片标注全部正确时，执行写入保存操作，快捷键为鼠标左键；如果当前图片标注出现错误时，执行清除当前关节点操作，快捷键为鼠标右键；当出现绘画失误时，执行撤销操作，可以返回上一步重新进行标注；返回操作可以返回至上一幅图像。使用本软件加载原始模型时的结果如图5.4所示。图5.4中可以看出，左右肩关节点位置有误差，左右肘关节点位置靠外严重，腰椎关节点位置略微偏下。使用标注修改软件修改后结果如图5.5。可以看出：使用标注修改软件可以有效的修改错误的标注结果，提高标注的效率，修正了错误的标注图像，可以在训练时有效的提高模型准确度[73]。

第六章总结与展望

在实际的驾驶情况中，车道线的变化并不明显，将滑动窗搜索算法原始的每帧搜索，优化为每15帧进行搜索，极大的提高了算法的速度，与未优化前的算法相比，极大程度的提高了实时性，并且准确度只有轻微下降。第五章建立了中国人的人体姿态数据集并且给出一种基于OpenPose的国内行人人体姿态估计方法。使用Python编写了人体姿态估计脚本，大大提高了人体姿态数据集的建立效率。考虑到行人人体姿态估计中对实时性的要求，对OpenPose模型进行优化，将6个阶段优化为3个阶段；将其中1个77卷积核替换成3个33卷积核，与未优化前的模型相比提高了检测的速度。但是，基于计算机视觉的汽车辅助驾驶系统是一项具极具挑战性的研究课题，还有大量工作需要进一步研究。未来的研究重点方向主要有：（1）本文研究的主要是二维计算机视觉，相比实际的三维世界，必然缺少信息，面向三维计算机视觉的汽车辅助驾驶系统是未来研究的重点方向。（2）检测过程中，环境的变换对目标检测结果影响巨大，如何降低环境对检测结果的影响，提高检测的鲁棒性，需要继续加强和完善。（3）交通标志检测模型的优化使用了分步的方法，加大了实验的难度，未来将继续优化，将其它的算法进行直接融合和修改，而不是分步进行。（4）基于传统图像处理的车道线检测方法局限性较大，例如摄像头的矫正、开车的位置、透视变换的坐标都是固定的，泛化能力较差，未来将研究基于深度学习的车道线检测，提高泛化能力。

参考文献（略）