基于人脸识别的乒乓球智能训练平台设计

本文是计算机论文，人脸面部识别以及相关人体识别技术已经快速发展，并且投入应用于安保服务、家庭服务、政务服务等多个领域，现将这种技术应用于体育乒乓球训练当中，能够有效提升训练人员的体验与整个训练过程的便利性。相对于传统的通过教练员进行一对一指导的发球训练方式，我们通过会员人脸注册的机制，允许多个会员同时在场所中获得各人专属的训练学习计划，并通过发球机进行训练，同时收集训练中的动作视频，乒乓球落点视频上传云端，方便专业的教练进行评估，更改提出新的训练计划，同时通过自下而上的多人人体骨骼关键点识别判断训练场所内各个球台是否在使用中，从而给会员分配训练球台号。同时通过语音交互功能进行与发球机的互动训练，记录训练视频以TCP的方式传输给云端。

第一章绪论

近两年，已经大量涌现出一批专利，利用深度学习对乒乓球运动中的动作进行比对、纠正、重建，能够进一步提升科学的训练方法，提高训练效率，同时采用三维重建的方法能够让人们更加形象清晰认识到自己的错误。2019年，由刘昌黎等人公布的专利已经聚焦于采用深度学习的方法智能纠正乒乓球的接发球姿势[20]，研究了一种智能乒乓球纠正练习系统。整个系统由控制模块，画面采集模块，手势检测模块，身体检测模块，语音交互模块，3D显示模块组成。其主要目的主要针对于快速纠正运动员的击球标准动作，由于乒乓球发球球速快，旋转多，球路复杂，击球手需要快速作出判断进行回击，在这个过程中较为容易出现动作的变形。目前这一动作的标准与否主要通过教练员的人眼判断，并对此加以指导和纠正，而且发球状态无法经常保持一致，对单一的回击动作也很难做出重复的矫正练习。通过架设于训练者周围的若干摄像头采集训练视频，与标准数据动作进行对比，强化了单一动作的训练，做到了具体化、标准化，避免了目测产生的误判问题。过去的老式发球机由于其设备不够智能化，只能发出固定几个角度和球速的球，缺少变化，被专业训练队员所舍弃，同时也不利于新手入门的成长。2019年，洛可可公司推出了一款智能乒乓球训练发球机[21]，其具体装置如下图1.3所示。

第二章神经网络的基础理论

2.1神经网络

尽管单个神经元比线性感知器更强大，但它们的表达能力不足以解决复杂的学习问题[25]。我们的大脑由多个神经元组成是有原因的,例如，单个神经元不可能区分手写数字。因此，要处理更复杂的任务，我们必须进一步采用机器学习模型。人脑中的神经元是分层组织的。实际上人类大脑皮层（负责大多数人类智力的结构）由六层组成。信息从一层流到另一层，直到感觉输入转化为概念上的理解。例如视觉皮层的最底层从眼睛接收原始视觉数据[26]。该信息由每一层进行处理，然后传递到下一层，直到在第六层中得出结论，我们是在看猫，汽水罐还是飞机。图2.2显示了这些层的简化版本。通过人脑神经元连接的概念，我们可以构造一个人工神经网络。当我们开始相互连接神经元，输入数据和输出节点时，就会形成一个神经网络，这与网络对学习问题的回答相对应。图2.2展示了一个人工神经网络的简单示例，类似于McCulloch和Pitt在1943年的著作中描述的体系结构。网络的底层提取了输入数据。神经元的顶层即输出节点，得出我们所需最终答案。

2.2卷积神经网络

为了大幅度降低特征图的维数并锐化定位的特征，有时我们会在卷积层之后插入一个最大池化层。最大池化的基本思想是将每个特征图分解为大小相等的图块[31]。然后，我们创建一个精简特征图。具体来说，我们为每个图块创建一个像元，计算图块中的最大值，然后将该最大值传播到压缩特征图的相应像元中。此过程如下图2.7所示。最大池化的一个特性是它是局部不变的。表明即使输入存在一点点偏移，最大池化层的输出也将保持恒定。这对视觉算法具有重要意义。如果我们更关心某个功能是否存在而不是确切位置，局部不变性将是一个非常有用的属性。但是，强制执行大量局部不变性可能会破坏我们的网络承载重要信息的能力。结果，我们通常使池化层的空间范围很小。Warwick大学提出了一些有关这方面的最新工作，提出了一个称为分数最大池的概念。在分数最大池化中，伪随机数生成器用于生成具有非整数长度的池化池。在这里，分数最大池化充当强大的正则化函数，有助于防止卷积网络中的过拟合。

第三章基于改进的VGGNet人脸识别...............................................................................................................21

3.1VGGNet网络介绍....................................................................................................................................21

3.2VGGNet模型优化.....................................................................................................................................25

3.3人脸识别算法流程...................................................................................................................................28

3.3.1人脸图像预处理...........................................................................................................................29

3.4PCA降低特征向量维度...........................................................................................................................30

3.5SVM支持向量机.......................................................................................................................................35

第四章人体骨骼关键点检测.............................................................................................................................41

4.1引言...........................................................................................................................................................41
4.2人体骨骼关键点检测相关工作...............................................................................................................41

4.3基于OpenPose进行优化.........................................................................................................................48

4.4Localization和Association模块理论推导...............................................................................................51

4.5实验结果...................................................................................................................................................52
4.6本章总结...................................................................................................................................................56
第五章基于视频的人脸心率检测.....................................................................................................................57
5.1引言..........................................................................................................................................................57
5.2视频心率检测...........................................................................................................................................57

第五章基于视频的人脸心率检测

5.1引言

基于前文所述的各项深度学习技术与乒乓球运动的结合，我们已经实现了乒乓球智能场馆的第一步，能够进行快速的识别、分配训练球台，实现了智能乒乓球训练平台的雏形，但要想要达成真正的智能体育训练场，还需要结合更多的技术，能够产生更加便利、有效的人机互动。现在，市面上推出了很多运动手环产品，意图给运动的人们记录下更多的心率数据，方便人们调整呼吸、运动节奏。鉴于我们的乒乓球智能训练场地中架设了多角度的摄像头，我们可以对这些摄像头形成复用，避免资源的浪费。所以我们提出了一种基于普通RGB摄像头视频的非接触式人脸特征区域心率检测的方法，并通过互动显示屏实时显示给参加训练的会员人员，能够更加便利的了解自己的实时运动心率同时不需要佩戴手环实现无感的人机交互。本章主要介绍了视频心率检测的主要方法，通过引用dlib库的基于ERT特征点定位方法和相关跟踪器实现多目标人脸区域的跟踪，然后通过视频RGB信号分析处理的方法计算出实时心率。

5.2视频心率检测

基于我们的智能乒乓球实际的训练场景，日常的环境处于自然光或者是正常灯光的照射情况下，我们采用架设于发球机上方的摄像头能够采集到连续的正常人脸图像。由于基于视频的心率检测对人脸图像帧的实时性和稳定性都有较高的需求，我们选择了较为成熟的算法基于dlib库的ERT方法进行人脸检测特征点标注与相关跟踪器的方法进行人脸特征部位的跟踪。我们采取基于固定的ROI（RegionOfInterest）提取皮肤颜色RGB信号，对其数字信号处理得到实时心率的平均值。如下图5.1所示，为视频心率检测的流程图：landmark是一种人脸部特征点提取的技术，Dlib库中为人脸68点标记，如下图5.2所示，是标记的68个人脸关键点的示意图。通过快速实时检测提取的68个关键点，可以产生十分广泛的应用，可以用于眼部的疲劳检测等等。近两年，随着生活节奏越来越快，越来越多的人们选择购买智能发球机在家进行乒乓球运动，由此也带来了乒乓球智能发球机的快速发展。

第六章总结与展望

对架设于发球机上方的上摄像头复用，采集人脸视频图像并进行人脸检测与跟踪，采用RGB颜色分量对面部特征区域实时心率检测，显示给会员。该设计实现了人脸面部识别与人体骨骼识别等相关技术与传统体育训练项目的结合，降低了训练的成本，提升了在快节奏生活中的乒乓球训练的便利性同时训练人员还能获得专业性的指导。本文第一章主要叙述了本课题的研究现状和意义。主要叙述了深度学习的发展历程以及在现代社会中的应用实例。同时简单介绍了目前深度学习各项技术与传统体育运动项目的结合情况，介绍了深度学习、人工智能、大数据在体育项目中的多种应用，同时提出了要建设“人工智能”体育场地的设计目标，通过利用深度学习的多项技术达成一个更便捷、专业的智能乒乓球训练平台。本文第二章主要介绍了深度学习的一些基础理论知识，包括神经网络的构成、网络结构，以及神经网络的不断进化改进的方式等内容，介绍了影响网络性能、计算效率的各种参数，为下文的神经网络模型改进典型了基础，并且有利于对此进行理论分析。

参考文献（略）