本文是工程硕士论文，常规的HOG特征直接由灰度图进行提取，本文提出一种针对彩色图片的HSL三通道分别进行HOG特征提取，以充分利用图片的色彩信息，然后将三个通道的HOG特征进行加权融合，采用积分图技术加速HOG特征提取，然后采用PCA算法对其进行降维，减少多通道HOG特征中冗余信息对检测的影响，提高算法检测速度。实验结果表明改进的HOG特征能有效的提高算法的识别率和缩短识别时间。在车道线检测任务中，本文采用深度学习的方法设计了基于堆积沙漏网络和深度分离卷积的车道线检测算法，能够实现任意数量车道线的检测。本文提出的算法采用堆积沙漏网络对车道线进行关键点预测，基于聚类思想，设计嵌入分支的损失函数，实现对车道线预测关键点的实例划分；并基于深度分离卷积思想，设计了算法的基本卷积层,实验证明了深度可分离卷积能有效减少算法模型参数.本文提出的车道线检测算法在Tusimple、CULanes、Caltech-lanes等公开数据集和Udacity自建数据集上做了大量实验，设计了CULanes数据集的标注信息的转换算法，将原始标签转换为Tusimple数据集格式，便于算法的训练和使用；并手工标注建立了Udacity数据集，用于算法性能的测试。在HOG特征提取过程中采用积分图加速计算,然后采用PCA技术对多通道HOG特征进行降维。介绍了支持向量机的相关知识，并使用改进HOG特征和SVM组成了车辆目标检测模型。使用KITTI和GTI数据集对算法进行了训练、测试和分析，对比了常规HOG特征和改进HOG特征的算法性能，对比了PCA降维后，特征维度对算法性能的影响，最后在Tusimple中抽取了部分数据用于测试，本文提出的算法在实验中表现良好。
.......
第一章绪论
本文在对车辆目标检测和车道检测的技术现状做了大量的研究后，并在阅读了大量文献的基础上，对基于计算机视觉的车辆目标检测和车道线检测技术进行了研究，本文主要内容如下：（1）简单介绍了自动驾驶（智能网联汽车）的发展过程，研究了车道线检测和车辆目标检测的主流算法，分析了不同算法的优缺点，研究了关于深度学习的相关理论知识，为下一步工作提供理论基础。（2）对于车辆目标检测，提出一种基于HSL色彩空间的多通道融合HOG特征，然后对多通道HOG特征进行PCA降维处理，再使用SVM进行检测分类。在测试数据集上对比多通道HOG特征和普通HOG特征的进的算法性能，主要评价指标为识别率和识别时间；在对多通道HOG特征进行PCA降维后，对比了不同的多通道HOG特征维度对算法性能的影响。（3）本文的各章节安排如下：第一章：介绍了自动驾驶（智能网联汽车）的发展历程，研究了车辆目标检测和车道线检测算法，分析了主流算法的优缺点，总结了车辆和车道线检测的难点，最后简要说明了本文的研究内容和章节结构。第二章：以介绍深度学习和神经网络的相关基础理论知识和方法为主，包括简述神经网络的发展历程，以Lenet-5为例详述了CNN卷积神经网络的模型结构、训练过程、损失函数；阐述了卷积神经网络的常用的批量归一化（BatchNormalization），以及常用的优化算法，说明了残差网络结构及其数学原理。第三章：首先介绍了HOG特征提取流程，提出一种基于HSL色彩空间的多通道融合HOG特征。分别对彩色图片的HSL三通道分别进行HOG特征提取，然后分别对HOG特征进行加权融合。
.....
第二章深度学习基础理论介绍
2.1卷积神经网络（CNN）的发展
卷积神经网络从原理上来讲，是一种从输入到输出的函数关系，它通过大量的学习过程来不断逼近理想的函数映射，不需要人工在输入和输出之间设计精确的数学关系，减少研究人员的工作量，在具备足够多的数据，设计好网络模型后，对其加以训练，卷积神经网络就可以具备从输入到输出的映射能力。常规的卷积神经网络进行的是全监督训练，其训练样本数据集形式如（输入数据，理想的输出数据）构成。训练数据集需要事先人工整理，而且数据集的样本数量要足够大，才能保证卷积神经网络能够学习到其中的函数关系。在卷积神经网络开始训练前，需要对整个网络进行初始化，即对网络中所有的权重参数进行随机给定初始值。参数的初始化要保证使用小随机数，避免网络因权重参数过大而进入饱和状态，进而导致训练失败，还要注意不能使用相同的数值去初始化卷积神经网络的权重参数，这样会导致网络失去学习能力。卷积神经网络的训练过程可分为两个阶段：第一阶段，前向传播阶段。从训练数据集中取出部分样本，送入网络，经过网络模型的推理，获得对应输入的输出值。此阶段数据信息在模型内部经过逐层变换和组合，最终传递到输出层。第二阶段，反向传播阶段。将网络推理得到的预测结果和真值进行比对，计算两者之间的差值，以极小化差值的方法，采用反向传播算法，更新网络的权重参数。
全连接网络、卷积网络对比
2.2卷积神经网络的结构和训练
在卷积神经网络中，随着网络深度的增加，卷积层的输入值在进行非线性变换之前，其分布会发生偏移，逐渐偏移到激活函数取值范围的上下限附近，这种现象会导致反向传播时模型的梯度消失，这是造成深层神经网络在训练时收敛变慢的主要原因。批标准化就是采用一定的数学变换，将输入每层神经元的数据重新变换回到正常的标准正态分布。本章首先简要介绍了卷积神经网络的发展，然后以LenNet-5为例详细说明了卷积神经网络的网络结构、网络的训练过程以及数学原理。介绍了卷积神经网络常用的损失函数和相关的几种优化算法，阐述了残差网络的原理及其作用。对于车道线检测，提出一种基于深度学习的车道线检测算法，算法采用堆叠沙漏网络对车道线进行特征提取并进行车道线的关键点预测，使用聚类算法来将预测的关键点划分到不同的车道实例中。同时引入深度分离卷积，替代模型中的大部分常规卷积层。在Tusimple、CULanes、Caltech-lanes和Udacity自建数据集上进行训练和检测，通过实验表明模型可以实现任意数量的车道检测，对阴影、光线变化有一定的抗干扰能力。特征提取模块由两个沙漏网络堆叠组成，每个沙漏网络都具有三个输出分支，分别为置信分支、偏移分支和嵌入分支，上一个沙漏网络的置信分支和网络的输出融合作为下一个沙漏网络的输入，每个沙漏网络的输出都会计算入损失函数。
第三章改进HOG特征和SVM分类器的车辆检测算法......................................18
3.1HOG特征提取...........................................................................................18
3.2改进HOG特征.........................................................................................20
第四章基于深度学习的车道线检测算法...............................................................30
4.1深度可分离卷积........................................................................................30
4.2堆叠沙漏网络............................................................................................31
4.3车道线检测网络........................................................................................32
4.4数据集准备工作........................................................................................35
4.5网络模型训练............................................................................................38
4.6实验结果与分析........................................................................................39
第五章总结与展望...................................................................................................46
5.1论文总结....................................................................................................46
5.2未来研究展望............................................................................................46
.....
第四章基于深度学习的车道线检测算法
4.1深度可分离卷积
在自动驾驶或者辅助驾驶中，行驶车辆对车道线的检测是至关重要的，它可以为车道保持、偏离预警等辅助驾驶提供车道信息，本章的主要研究内容是检测行车过程中道路图像中的车道线。随着深度学习的发展，关于车道线检测越来越多的趋向于使用深度学习的方法。本章设计了基于深度学习的车道线检测算法，并在Tusimple、CULanes、Catech-lanes等公开数据集和Udacity自建数据集上对模型进行训练和优化，最终得到车道线检测模型。为了能够均匀准确的标注车道线，在标注车道线之前，需要对图片进行预处理。道路主要位于图片的下半部分，从图像最底部开每隔10个像素画一条标线，标线与每个车道线的交点作为需要标注的点。这样可以对车道线进行均匀的标注，可以更好拟合弧度较大的部分车道，并减少人为的误差。启动软件后，以标注点的形式标注车道线，每完成一个标注点后，软件会提供标注点的标签类型，可以输入自定义类别名称。当一张图片手工标注完成并保存后，软件会自动生成含有标签信息的json格式文件，此时的json文件格式不同于Tusimple数据集格式，需要进行格式转换后，才能用于模型的训练和测试。通过控制残差模块的输入输出通道数、卷积核的滑动步长、是否填充，可以构建出不同类型的残差模块，其结构如图4-5所示。残差网络可以保证随着网络的加深不会出现模型退化，增强模型性能，使整个网络模型在训练中的稳定性。
LeNet-5网络结构
4.2堆叠沙漏网络
基于堆叠沙漏网络和深度分离卷积，本文提出了车道线检测网络，用于车道线检测。鉴于堆叠沙漏网络在关键点预测方面有优异的性能，本文提出的算法对车道线进行关键点预测，并且只对预测的关键点进行实例分配，而不是将每个像素点进行实例分配。本文的检测架构主要采用堆叠沙漏网络，并将网络生成的预测关键点采用聚类的方法进行实例划分，分配到每各个车道线实例中，然后将关键点进行连接，实现车道线检测。引入深度分离卷积代替网络中的部分标准卷积，以减少网络参数，降低检测网络的计算成本。网络的详细架构如图4-3所示，网络的输入大小为512*256，输入给尺寸调整层。尺寸调整层由卷积层和最大池化层组成，将具有512*256大小的输入数据压缩成为64*32。残差模块由多个不同尺寸的基本卷积层构成，应用残差结构思想，构建出基于残差网络的残差模块。特征提取模块由两个基于深度分离卷积的沙漏网络堆叠而成，沙漏子网络结构如图4-6所示。每个沙漏子网络有三个输出分支，网络输出尺寸与网络输入尺寸相同。蓝色方框表示下采样模块，绿色方框表示相同的尺寸保持模块，橙色方框表示上采样模块。下面详细说明了每个输出分支的作用和损失函数。Udacity的数据集是专门用于车道线算法测试使用的，包括三段视频，将视频导出入为图片后，剔除部分不合适的图片，对图片中的车道线进行标注，共计200张图片。数据集的标注软件采用labelme，该软件是github上的开源项目，基于python和Qt开发，主要用于目标识别和分割的图片标注工作，通过命令行启动，全图形界面，便于操作和标注。由于车道线的特殊性，在图片标注过程中比较耗时耗力，标注后的图片如图4-10所示。
.........
.........
第五章总结与展望
未来的汽车发展过程中，自动驾驶系统占有重要地位，而车外环境感知则处在自动驾驶的信息输入部分，能否正确的检测识别车外环境是自动驾驶实现的先决条件。本文在这些数据集上对比评估了其他主流算法的性能。实验表明本文提出的基于深度学习的车道线检测算法具有良好的性能。本文提出了基于深度学习的车道线检测和车辆目标检测算法虽然具有一定的优势，但也还有许多不足之处，需要进一步研究。（1）在车道线检测算法中，在通过聚类算法对关键点进行实例划分时，少数情况下会出现部分预测点实例划分错误的现象。本文使用的数据集中大部分的交通场景下车道线都近似为直线，而算法在车道线弯曲较大的情况下检测效果并不理想。在CULanes数据集中的夜间、弯道等挑战测试集中算法的表现较差，如何进一步提高算法在夜间、拥堵等恶劣情况下的检测效果，需要进一步的研究。（2）本文提出的车道线检测算法使用深度可分离卷积代替了普通卷积，深度分离卷积虽然可以降低模型计算量，但会增加模型检测时间，同时兼顾检测速度和准确率，可以考虑使用Hetconv等异构卷积以及其他更加高效、快速的卷积方式，以此来减少模型参数，降低计算量，缩短推理时间并保证检测精度不损失。（3）本文使用传统算法来实现车辆目标检测，没有使用深度学习的方法来进行车辆目标检测，可以尝试使用以堆叠沙漏网络为基础的角点检测网络完成对车辆的目标检测，并与车道线检测网络进行模型融合，都采用堆积沙漏网络进行特征提取，可以共用特征提取部分，构建多任务网络，由一个网络完成车道线检测和车辆检测任务。
参考文献（略）
参考文献（略）
