计算机论文哪里有?本文主要的研究内容及研究成果如下: (1)本文首先研究了握笔识别,根据查阅的参考文献,将握笔手势分为九类,分别为标准型、错位型、横搭型、埋头型、扭曲型、扭转型、拳头型、睡觉型、直线型,并严格地根据握笔手势的特征,在不同背景下自制握笔手势数据集,共8100 张。根据握笔手势图像的特征,本文研究了手势分割模型、颜色空间以及图像增强,最终通过握笔手势图像在各个颜色空间的对比,确定了本文使用基于YCbCr 颜色空间的肤色模型对握笔手势图像进行手势初步分割,并利用开运算方法进行图像增强,缓解图像的噪声。
1 绪论
1.2 国内外研究现状
1.2.1 握笔手势研究现状
由于当下部分中小学生书写时握笔手势不合理,导致坐姿扭曲、眼睛近视以及手指关节变形,对其身心健康造成不良的影响[1]。
欧美等国家对握笔姿势的研究始于 1960 年,并且已经构建了西方儿童握笔姿势的发展历程。Schneck & Henderson[4]提出了美国 3-7 岁儿童的握笔姿势发展过程;台湾学者 Tseng 以台湾儿童为研究对象,研究了中文书写和握笔姿势的发展历程[10];Graham 等人在 2006 年研究了年龄小的儿童的握笔手势的特点和类型[11];华东师范大学学前与特殊教育学院的郭立平教授和他的学生完成了对上海学龄前儿童握笔姿势的发展趋势的研究,并分析了握笔姿势的发展趋势和特点[12]。根据研究发现,中国学龄前儿童与美国儿童握笔姿势的发展情况并无很大差异,但是中国儿童使用成熟握笔姿势的比例低于美国儿童[2]。
近年来,国内外研究人员对数据手套进行了大量的研究。C.Lee 等人将CyberGlove 数据手套连接到采用 HMM 模型实现手势识别的系统,用于识别手语字母中的手势[15]。Hernandez 等人将 AcceleGlove 数据手套用于含有 176 个单词的美国手语集,识别准确率达 95%[16]。吴江琴,高文等人采用神经网络与决策树的混合算法对 CyberGlove 数据手套采集到的 30 个汉语手指字母特征信息进行处理后识别,识别准确率高达 98%[17]。王家顺等人将 BHC 数据手套应用于虚拟环境下的人机交互,BHC 数据手套与传统手套的不同在于其使用了四杆机构对复杂、灵巧手势运动进行识别[18]。
....................................
3 一种 AlexNet 优化与双模态握笔手势识别方法
3.1 AlexNet 优化
由于 AlexNet 网络是对 1000 种图像进行分类,其网络结构对本文研究内容不完全适应,因此针对握笔手势图像的识别,本文对 AlexNet 进行优化,包括对网络参数的修改以及网络模块的增加,进而能够在较短的时间内对握笔手势进行分类。
3.1.1 优化 AlexNet 的网络结构
针对握笔手势数据集的特点,本文采用优化 AlexNet 网络,即在 AlexNet 网络基础上进行改进后对握笔手势图像进行训练,获取握笔手势识别模型。优化的AlexNet 网络结构如图 3-1 所示。
图 3-1 优化的 AlexNet 网络结构图
.................................
5 握笔手势识别系统设计与实现
5.1 需求分析
针对学生上书法课的时间有限,且教学老师无法一直关注学生的握笔手势,导致学生无法对自己的握笔手势有一个清楚的认知。为了帮助学生对自己的握笔手势有一个较清晰的认知,并及时纠正错误的握笔手势,本文基于提出的握笔手势识别方法,设计了握笔手势识别系统,通过对选择的图片进行处理,获取握笔手势识别结果。
基于人机交互的握笔手势识别系统的主要功能方面的需求包括握笔手势数据采集、视频关键帧提取、双模态图像获取、双模态图像预处理,握笔手势识别结果显示。
(1) 握笔手势数据采集:通过摄像头实时拍摄学生书写时的握笔手势视频。
(2)视频关键帧提取:根据摄像头实时采集的学生书写时的握笔手势视频信息,对其进行关键帧提取,获取重要的以及变化的握笔手势图像,并将其保存到文件夹中。
(3)双模态图像获取:对获得握笔手势图像进行手势分割以及骨架图提取处理,获取双模态图像。
(4)双模态图像预处理:对获取的双模态图像进行数据增强和尺寸归一化处理。
(5)握笔手势识别结果:通过将获取的特征对比已经训练好的网络模型特征,利用全连接层的分类器进行握笔手势识别,获取握笔手势识别结果并将其显示到图片上。
.........................
5.2 系统架构与功能模块设计
握笔手势识别系统通过对摄像头采集的握笔手势视频进行关键帧提取后进行图像处理;基于 YCbCr 的肤色模型与 OpenPose 骨架模型获取双模态图像并对其进行预处理;最后与训练好的握笔手势模型进行比较获取握笔手势识别结果,并对其进行保存,用于学生、家长、老师进行查看、分析以及指导。基于本文的需求以及实验过程,本系统的架构设计如图 5-2 所示。
图 5-2 系统整体架构图
...................................
6 总结与展望
6.1 论文总结
近年来,关于握笔手势的理论研究很多,但是相关人工智能方面的实践却很少。且当下部分中小学生握笔手势不标准,导致坐姿不健康的同时致使眼睛近视、颈椎弯曲以及手指关节增生等问题,对其未来身心健康的发展造成不良的影响,因此本文初步研究了握笔手势的识别。目前,关于手势识别的研究很多,单模态输入、多模态输入至卷积网络的手势识别方法已经被广泛应用,本文受到多模态的启发,提出了一种 AlexNet 优化与双模态的握笔手势识别方法,实现了九种握笔手势识别。
本文主要的研究内容及研究成果如下:
(1)本文首先研究了握笔识别,根据查阅的参考文献,将握笔手势分为九类,分别为标准型、错位型、横搭型、埋头型、扭曲型、扭转型、拳头型、睡觉型、直线型,并严格地根据握笔手势的特征,在不同背景下自制握笔手势数据集,共8100 张。根据握笔手势图像的特征,本文研究了手势分割模型、颜色空间以及图像增强,最终通过握笔手势图像在各个颜色空间的对比,确定了本文使用基于YCbCr 颜色空间的肤色模型对握笔手势图像进行手势初步分割,并利用开运算方法进行图像增强,缓解图像的噪声。接着研究了 OpenPose 手部模型,通过分析 OpenPose 的网络结构与手部模型,对握笔手势图像进行骨架提取。将手势分割后的握笔手势分割图像与手部骨架提取后的握笔手势骨架图像联合构成双模态图像,最后对双模态图像进行数据增强,包括但不限于平移、旋转变换等、尺寸归一化,将尺寸大小归一到 224×224。
(2)对于握笔手势模型的训练,本文选择了 AlexNet 网络为基础,并在此基础上进行优化,使得网络结构更加适合握笔手势数据集。由于 AlexNet 是处理1000 种的图像分类,而本文研究的握笔手势只有九种,且数据集数量较少,使用AlexNet 的初始网络结构以及参数会使得网络收敛速度慢、握笔手势识别率低,因此本文对 AlexNet 进行优化,主要是从以下方面进行优化。首先修改了卷积核大小,将 AlexNet 的网络结构的第一个卷积核的大小修改为 3×3,使其更好地获取握笔手势图像的特征;接着在卷积层之后添加了批量归一化以及注意力机制,关注重要特征的同时加快训练速度;然后更换了优化函数,将 AlexNet 的网络结构使用的随机梯度下降法修改为自适应时刻估计算法,使得网络自适应更新学习率,降低损失率;最后删除了 LRN 层,本文在有无 LRN 层的网络上进行测试,结果并无区别,因此本文删除 LRN 层,进而加速训练过程。
参考文献(略)