本文是软件工程论文，本文针对动态人体检测跟踪技术面临的诸多挑战，设计了一种人体检测跟踪框架。该框架通过A-AOG对人体形态进行建模与特征提取，并在此基础上设计了基于A-AOG的人体检测跟踪算法，以应对人体遮挡、光照变化和人体姿态多样等挑战，提高检测跟踪算法在复杂场景的准确度。基于本文提出的人体检测跟踪框架和算法，搭建了公交乘客自动统计系统。实验中系统乘客自动统计的准确率达到了93.5%。本文主要完成了以下几方面的工作：（1）人体形态建模与特征提取.本文引入属性与或文法（A-AOG）对人体形态进行建模与特征提取.其中通过结构文法对人体形态部件建模、通过依赖文法对部件间连接关系建模、通过属性文法对人体属性建模。此外提取了人体组成部件的热力图特征、部件间连接关系的矢量图特征和人体属性特征矩阵用于算法模型训练。最后从热力图中提取人体部件的像素坐标，从矢量图中提取部件间连接关系的置信度，从属性特征矩阵中提取人体属性，来构造基于树形结构的人体形态特征表示。（2）优化人体检测算法.本文基于人体形态特征对Faster R-CNN检测框架进行优化。其中，在RPN网络的基础上增加了多尺度的锚点区域建议和基于人体形态的区域建议，构造了HC-RPN网络，提高了检测算法的召回率；在全连接网络的基础上增加inception模块
.......
第1章绪论
但是在公交车场景下，传统人体检测跟踪技术的效果很差，不能满足监控系统的需求。其原因为：公交车上的摄像头不能与人体目标保持合适距离，导致拍摄视频中的人体目标大多处于半身等不完整的形态；公交车上人员密集，人体间遮挡严重；公交车始终处于运动状态，拍摄条件差，导致拍摄的视频存在光线变化、阴影、运动模糊等问题；公交车乘客运动不规律，其人体形态经常变化。在复杂场景下的应用中,现有的检测算法容易出现误检、漏检等问题；跟踪算法会出现目标丢失,目标漂移等问题.其原因是这些检测跟踪算法都是基于完整的人体特征设计的，当发生遮挡、运动模糊等问题时，人体部分特征丢失，造成检测跟踪算法的准确度下降。本文针对上述问题提出了一种人体检测跟踪框架。首先通过属性与或文法对人体形态进行建模分析与特征提取。然后基于人体形态特征优化人体检测跟踪算法，从而增强了算法对复杂场景中人体姿态变化和遮挡的鲁棒性。在存在光线变化、阴影、运动模糊和人体相互遮挡等问题的公交环境下，该算法可以对上下车乘客进行检测跟踪，为复杂场景下的监控系统提供了解决方案。
....
第2章基于A-AOG人体形态建模与特征提取
2.1基于属性与或文法的人体形态建模
一般的文法分析可以根据服装样式，身体形态和相机的坐标位置为同一人体生成大量的解析图，但是这种文法分析模型存在着两个明显的缺点：1）这种分析方式缺少上下文信息，如两个兄弟节点间的连接关系，或一个父节点分解成若干终端节点的条件；2）由于人体各组成部分的相关性和不可分性，只选取其中一个特定分支进行分析的方法只考虑了局部特征，在后续实现过程中无法让卷积神经网络学习到整体与部分之间的联系。结构文法和依赖文法所分析的人体结构和连接关系。
2.2人体部件特征提取
属性文法会减少条件约束，通过概率值对分析添加约束。其原因是：对于不同节点的属性判断会出现误差，通过概率约束可以减少误检对最终结果的影响。本文通过以下三种方式对节点进行属性上下文约束：1）父节点和子节点的属性一致性约束。例如，父节点的属性为女性,那么其子节点的属性也要为女性。2）属性间的相关性约束.不同属性之间是存在共性的，有些属性会同时出现，有些不会。例如，某个节点的属性为男性，那么其子节点与父节点就不应出现裙子属性。3）同类别属性的唯一性约束.同类别属性只能出现一个，比如男性和女性都是表示性别的属性，那么这两个属性只能出现一个。
.......
第3章 基于A-AOG的人体检测算法 .................................................................... 27
3.1人体检测算法检测流程 .................................................................................... 27
3.2人体检测算法网络结构 .................................................................................... 32
3.3人体检测算法训练 ............................................................................................ 39
第4章基于A-AOG的人体跟踪技术 .................................................................... 47
第5章4.1人体跟踪框架 .................................................................................................... 47
4.2基于卡尔曼滤波的跟踪算法 ............................................................................ 51
4.3基于孪生网络的跟踪算法 ................................................................................ 54
第5章 公交车乘客自动统计系统 ........................................................................... 61
5.1系统分析设计 .................................................................................................... 61
5.2系统实现 ............................................................................................................ 65
.....
第5章公交车乘客自动统计系统
5.1系统分析设计
本系统通过分析公交车前后门拍摄的上下车视频，自动地统计每一站的上下车人数，为分析公交的拥挤程度，公交车的调度与线路调整提供了数据支持。与传统基于传感器或刷卡机的公交乘客统计系统不同，本文系统基于公交车前后门拍摄的视频信息对上下车人数进行统计。基于传感器的乘客统计系统需要在公交车上单独配备传感器原件，成本较高；且公交车乘客上下车时会相互遮挡，并不能保证每位乘客都独自经过传感器，这造成了基于传感器的乘客统计准确度较低。基于刷卡信息的乘客统计系统不能统计通过投币、或免票上车的乘客.尤其目前中国老龄化严重，免票上车的老人较多，所以基于刷卡信息的乘客统计系统误差同样较大.本文搭建的系统通过分析公交车拍摄的上下车监控视频对乘客进行自动统计，对于硬件要求较低。该分析方法通过基于A-AOG的人体检测跟踪技术分析乘客的运功轨迹，从而判断其是否上下车。
5.2系统实现
本文生产环境的服务器硬件配置如表5-1所示，生产环境对硬件要求较高，其原因为：1）模型训练时显卡显存需要存储模型的所有参数和每个参数的梯度值，如果显卡显存过小会出现显存溢出的问题，所以生产环境要求显卡显存不低于8G。2）算法模型在训练时会进行大量的矩阵运算，显卡计算能力太差会造成模型训练周期过长,所以要求显卡的浮点数运算能力大于5.2。3）算法模型在训练前需要CPU多线程地对训练数据进行预处理，保证模型在完成一次参数更新后可以直接获取预处理过的数据,从而进行下一次梯度计算与参数更新。生产环境要求CPU核心数大于4，线程数大于8，主频大于2.4HZ。表5-1为本文选取的满足上述条件的硬件配置.生产环境的软件配置包括操作系统、显卡驱动和程序运行所需的依赖库，其安装流程如图5-5所示。其中高性能计算库可以加速矩阵运算，由于矩阵运算需要依靠显卡,所以在安装高性能计算库之前要先安装显卡驱动。本文用到的神经网络和机器学习相关算法需要很多第三方库，本文通过Anaconda包管理工具对所有第三方库进行统一的管理，该工具可以快速地对第三方库进行安装、删除和更新等操作。此外它还可以创建若干个相互独立的实验环境，让本文每个实验在独立的环境下进行。本文服务器的依赖配置如表5-2所示。
......
结 论
设计并实现了人体跟踪框架。该框架将被跟踪的人体目标分为新目标、跟踪目标、丢失目标和结束跟踪目标。其中，用卡尔曼滤波跟踪算法对新目标和丢失目标进行跟踪；用孪生网络跟踪算法对丢失目标进行跟踪；清空结束跟踪目标的跟踪器。该方法融合了上述两种算法的优点，解决长时间目标跟踪存在的目标丢失问题。此外，通过人体属性匹配解决了人体跟踪中的漂移问题。在公交数据集上的实验证明，本文跟踪框架的性能要优于基于卡尔曼滤波的跟踪算法以及基于孪生网络的跟踪算法的性能。然而，受到时间、精力等因素的限制，本研究还存在一些不足，值得在未来进行改进和研究：（1）近年来计算机视觉希望可以得到更加细致的检测结果，所以近两年实例分割技术在飞速发展。在未来的研究中，本文希望可以设计一种基于目标分割的跟踪框架。（2）本文的检测跟踪框架有着很大的局限性，只能针对人体进行检测跟踪，原因是在对于目标结构建模分析时，本文只研究了针对人体结构的建模。在未来的研究中，本文希望可以设计出基于与或文法的通用目标检测跟踪框架。
参考文献（略）
参考文献（略）
