基于多视图特征融合的三维物体识别与检索之计算机分析

第一章  绪论

1.1  研究背景和意义
当前人工智能的迅猛发展得益于硬件计算能力的增强、数据的爆发式增长和越来越多的科研投入。机器学习和深度学习领域有很多有效而稳健的算法模型被提出，推动着社会的发展。计算机视觉作为人工智能的一个重要研究领域，其发展影响到了当下人们生活的各个方面。
从图像或图像的序列中识别对象是计算机视觉中的重要任务。计算机视觉的基本挑战之一就是从二维图像中推断关于三维世界的信息。如果我们扩展到三维的空间，对象识别所遇到的一些视觉问题就会得到缓解。与二维数据相比，三维数据可以体现物体的完整结构，并且具有固定的相对深度，不受光照和视角影响。由于之前很少有能够访问的三维对象模型，对象的识别往往需要通过基于来自各种视角的二维图像来识别和推理三维空间中的对象。
近几年来随着三维成像传感器和三维重建技术的发展，人们可以从生活中便捷地捕获大量的三维物体结构信息。同时，网络的发达也促进了三维数据的传播与分享，越来越多的三维模型数据集可供研究者们分析。逐渐增长的三维数据推动了三维物体研究以及三维数据的应用。例如扫地机器人需要对所处的三维场景进行建模和理解，手机的人脸识别需要处理图像及深度信息，增强现实和虚拟现实需要进行三维物体的生成和渲染等等。
三维物体识别与二维图像识别有着一定的区别。区别的主要原因在于二维数据与三维数据的数据形式不同。传统的二维图像数据主要以矩阵形式存储和处理，其数据结构排列规范，易于读取与处理，并且包含了色彩信息。而大部分可供研究的三维数据为非结构化数据，且不含色彩信息。二维图像得益于其结构化，可以被归一化为同等的输入大小，表现出了对处理模型的友好性，尤其是神经网络模型。然而，三维数据具有多个不同的描述形式。由于三维物体数据获取来源有差别，三维物体数据可被分类为体素、点云、网格三种。三种不同结构的数据对应了不同的处理模型。并且，在同一数据结构下的三维数据难以合理的归一化。这使得在传统特征提取和深度学习网络框架上，三维物体识别与图像识别都有所不同，尤其是神经网络架构。随着处理二维图像的神经网络逐渐成熟，深度学习在三维数据上才开始发展。
.......................

1.2  国内外研究现状
早期的三维形状识别，主要基于人工设计的三维数据描述特征和机器学习特征分类器。由于三维数据形式的特殊性，以三维网格形式表现的三维形状可以被看作一个无向图结构。所以，在计算机视觉和图形学的研究领域中都有许多的三维形状描述算子被提出来。[7]给出了直接计算三维网格体积，矩长和傅里叶变换的显式方法。Kazhdan 等人提出了球面谐波表示[8]，一种在不同能量方面具有旋转不变性的球面函数。Rustamov 使用 Laplace-Beltrami 微分算子[9]的特征值和特征函数，即 GPS 嵌入，提出了称为 G2 分布的具有形变不变性的形状描述子。Johnson 和 Hebert 通过使用旋转图像表示匹配点来匹配表面，提出了用于匹配表面为网格数据的数据级形状描述符 spin image[10]。Belongie提出了 shape context[11]，一个点上的形状上下文特征会捕获其他点的相对分布，并从累积的局部描述中总结全局特征。将二维图像特征 HoG 衍生到三维网格数据上，Zaharescu提出了 MeshHoG 和 MeshDoG[12]，以简洁的方式捕获局部几何或光度特性。在[13]中，Reuter 等人选择有限元算子进行特征函数计算，并从拉普拉斯频域第一部分特征函数的节点域中分析完成分割任务。在同一年，Sun 等人基于形状上的热扩散过程提出了一种新颖的点标记，被称作热核标记[8]。之后，Bronstein 等人在此之上进行了改进，提出了具有尺度不变性的热核描述符[9]. 第三章  基于多视图特征融合的三维物体识别与检索 ............................. 17
3.1  方法概述 ........................................... 17
3.2  视角选择策略 ............................................ 18
3.3  视图特征映射模块 .................................. 23
第四章  实验与结果分析 .................................... 30
4.1  实验数据集 .................................... 30
4.2  实验细节 ............................... 31
4.3  三维物体的识别任务 .................................. 34

第四章  实验与结果分析