摘 要：针对增强现实开发工具ARtoolkit利用特定编码的卡片来获取目标，并且利用标记卡片角点来推算出相机的空间位置，准确率不高，有严格的观测角度限制，且不能在复杂场景使用的问题。在采用即时定位与地图构建和随机抽样一致算法的基础上，研究了如何将利用即时空间定位算法准确的计算出相机的外参和图像序列ORB特征点的空间坐标集，并利用随机抽样一致和poster帧得到二维感兴趣区域特征点坐标集，实现了感兴趣区域的空间坐标定位。实验结果表明，该算法解决了标记卡片以及观测角度限制，提高了相机位置的准确率，提高程度达90%。为后期渲染3D目标实现增强现实提供了有力的保障。
关键词：增强现实；即时定位与建图；随机抽样一致
DOI：10.15938/j.jhust.2018.02.005
中图分类号： TP391.9
文献标志码： A
文章编号： 1007-2683（2018）02-0023-06
Abstract：Aiming to the development tools for Augmented Reality， ARtoolkit， and to obtain a particular coding region of interest， Marker Cards and the corner feature are used to calculate the position of the camera. But the accuracy rate is low， and viewing angle and scenes are stirctly limited. Based on the simultaneous localization and mapping and random sample consensus algorithm， this paper studies how to use instant space location algorithm to accurately calculate the spatial coordinates of camera external parameters and image sequence ORB（oriented fast and rotated brief）feature point set. Then random sampling and poster frame are used to obtain two dimensional coordinates of region of interest to locate. For these restrictions， a new method is proposed in this paper by integrating SLAM and RANSAC to obtain a particular coding region of interest and calculate the position of the camera. Experiments show that the method can solve the limitation of viewing angle and scenes and improve the accuracy of calculate the position of the camera. The degree of improvement is up to 90%， providing a strong guarantee render 3D augmented reality.
Keywords：augmented reality； simultaneous localization and mapping； random sample consensus
0 引 言
在互网时代，计算机已经在生活当中越来越普及，从几人共享一台计算机到一个人拥有几台计算机。计算机生成的数据对人们的生活来说越来越重要。然而，目前计算机仍处于智能化的初级阶段，可以模仿人类进行逻辑思维，但还无法完全进行形象思维，如果要计算机成为人类的可靠助手，进行形象思维，则要求计算机能够适应人们所习惯的信息获取方式和思维过程，与真实环境进行自然融合。增强现实系统可以将计算机生成的信息（包括文字、图像、三维物体等）以视觉融合的方式叠加至真实场景中，与周围的真实环境完美地融为一体。在用户眼前呈现出“增强”了的世界。在理想情况下，用户无法辨别哪个是虚拟物体，哪个是真实物体，看到的将是完整的融合显示场景。增强现实借助显示技术、交互技术、传感技术和计算机图形技术将计算机生成的虚拟目标与用户周围的现实环境融为一体[1-4]。
常用的增强现实开发工具ARtoolkit[5]存在诸多限制，定位需要特定编码的标示（Marker）图片来标示出目标位置，计算相机的位置方式单一，观测的倾斜角度有限制。针对这些问题，本文采用SLAM[6-7]结合二维平面定位的RANSAC[8-9]算法，可以准确的获得相机空间位置，并且定位目标的空间位置，来渲染三维目标，实现增强现实。本文结构如下：第一部分介绍ARtoolkit的开发框架，第二部分介绍ARtoolkit定位目标和计算相机位置的方法。第三部分介绍SLAM和二维图像配准的RANSAC算法，并进行结合以实现三维空间的目标定位。第四、五部分给出对比分析的实验结果和结论。
1 ARtoolkit简介
增强现实是把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉信息、声音、触觉等），利用科学技术进行仿生后再融合到现实世界，人类通过感官来感知。ARtoolkit是由C/C++语言编写的库，通过它可以实现现实增强。ARToolkit的开发流程基于人工标志的注册方法来进行，包括以下几个部分：相机标定、初始化摄像头并捕获视频帧、搜索标示以及识别、计算Marker的位置和方向、计算相机的位置、渲染虚拟物体、屏幕显示和关闭视频捕捉，开发流程如图1所示。 图1中相机标定是一个单独的过程，用来获得相机的内参，从Marker搜索开始，表示实现AR过程，在得到Marker的位置和角度以后，找到相机位置，最后利用opengl在真实场景中渲染3D目标。
2 ARtoolkit中Marker定位
图2中（a）表示的是一种Marker，利用了汉明码变种的编码方式来表示一个Marker图片[9-10]。Marker的最外围是黑色边框，内部的是编码信息，白色为1，黑色为0。如果每一行看作一个字，则每一位为5bit，其中1、3、5位是校验位，2、4位是信息位，所以整个Marker的信息位有10bit。图2中（b）表示定位了Marker在空间的位置、相机的位置，并在Marker上渲染出3D的模型。
在ARtoolkit[5]中，利用Marker来定位目标，通过对图像二值化，利用约束条件找到Marker的四条边，定位四个顶点，然后在Marker四个顶点建立空间坐标系，但是要求目标周边的纹理不能过于复杂否则无法利用约束条件准确的定位四条边，难以定位Marker的四个顶点。同时在计算外参的时候，使用Opencv中的solvepnp方法计算。由于solvepnp是通过单个Marker上的4个点来确定相机的旋转矩阵和平移向量从而来计算相机在下一帧的位置，算法在物体深度相对于物体到相机的距离比较大的时候可能不收敛，进而不能得到精确的相机外参。
在观测角度不同时，得到的投影矩阵不一样，从而使得锥形体视角投影中容易出现偏差，难以准确得到目标的正视图位置，影响后期渲染的准确性。本文利用SLAM[11]可以得到每一帧图像特征点空间坐标和准确的相机位置，同时利用RANSAC算法来精确的查找目标二维坐标集。利用二维特征点和空间特征点一一对应的关系，不受场景和角度的约束，能够在复杂场景和任意角度准确的定位目标。
3 改进后的目标定位
与魍车姆椒ú煌，本文将ORB[16]特征作为SLAM建图和定位空间特征点的特征，同时也是RANSAC定位目标的特征。首先利用SLAM计算摄像头获取的帧的ORB特征点空间位置和当前帧相机的空间位置，并保存结果。然后利用含有目标的一帧图像，称之为poster帧，对摄像头获取的帧定位目标区域。由于SLAM处理特征点和RANSAC处理的特征点是同一特征点，所以特征点的空间坐标和二维坐标一一对应。当poster帧在视流中定位到了目标位置，那么只需要查询该目标区域二维特征点集对应的空间特征点集的坐标，并记录下来。然后对记录下的空间坐标点集求均值，就可以找到目标区域中心的空间特征点坐标。同时SLAM计算还得到了当前帧相机的位置。
3.1 空间特征点定位
这一步采用的是基于ORB特征的SLAM方法，实现对相机实时采集的图像序列帧进行特征检测、跟踪，得到帧间特征点的匹配关系，然后建立世界坐标系，利用特征点三角化计算出特征点的空间坐标，利用初始化的运动模型和相机外参，得到相机在当前帧的位置。由于ORB特征本质上是FAST-10特征，具有重复性，所以保证了SLAM和RANSAC处理的特征是同一特征，分四个步骤实现：
1）ORB特征提取。提取的ORB特征是在8个不同尺度的图像金字塔中进行的。在每个尺度层划分cell，在每个cell中提取5个特征点，总共一帧图像提取2000个特征点。如果提取的特征点没有达到2000这个阈值，则对当前帧调整特征点数量阈值。
2）对于初始的两帧，利用五点法[16]可以求出相机的姿态，从而确定相机的运动模型，再利用三角测量原理，计算出匹配正确的二维特征点所对应的空间坐标。
3）得到特征点空间坐标后，再将空间坐标值从世界坐标系投影到当前帧中，从而可以得到相机的外参，求出相机在当前帧的位置。
首先要将世界坐标系中的空间投影到相机坐标系，得到相机坐标系中，这可以通过左乘一个4×4的矩阵来实现，即：
将空间特征点投影到得到当前帧后，还要找到它在当前帧中的对应匹配的特征点，本文采用的方法是基于块匹配[4]的方法来定位当前帧上成功匹配的特征点坐标。
4）更新相机位置。给定重投影点的对应匹配点的集合S，若该集合足够大的时候，则得到相机的新位置。通过最小化重投影误差，可以更新相机姿态。重投影误差为特征点空间坐标在当前帧的投影点与其在当前帧的匹配点的差异，可以用式（3）来表示：
通过最小化投影误差，可以得到相机的运动模型，利用相机的运动模型和相机外参可以估计出相机在下一帧图像的位置。这样就完成了相机位置和特征点的空间坐标的计算。
3.2 基于RANSAC的目标定位
计算目标二维位置，其实就是利用poster帧特征点去和当前帧特征点进行匹配，找到匹配最好的帧和目标位置，分五步来完成这一环节：
1）提取poster帧的ORB特征和当前帧的ORB特征，并进行暴力匹配。
2）对暴力匹配成功的特征点进行RANSAC，得到最优单应射矩阵H[17]。
3）对poster帧利用H进行透视变换，投影到当前帧，进一步删除配准错误的特征点，实现特征点的精准匹配。
4）判断精准匹配的点的数量和poster帧特征点总数量的比值是否达到0.15，如果小于0.15，则认为匹配不准确，放弃匹配结果，继续执行第二步。否则保存匹配结果执行第五步。
5）获得当前帧中目标的二维坐标集，并记录下来这些特征点的序列号，匹配过程结束。求解最优的单映射矩阵H是对ORB特征点进行RANSAC得到的。
在得到了暴力匹配成功的特征点对后，存在许多误匹配，此时需要利用RANSAC算法，求出最优的单应射矩阵H [15]。式（4）说明了单应射矩阵的形式。
这样利用四对ORB特征点坐标就能得到8个独立的线性方程，方程中（x， y）表示的是poster帧上的特征点的齐次坐标，而（x′，y′）表示当前帧中的特征点齐次坐标，二者都是在进行暴力匹配的过程中就求得了。接着通过方程组的解，可以得到初始化的H。 用RANSAC估即单应性矩阵的具体步骤如下：
2）根据4对随机的匹配点对算出矩阵H；
3）利用H对poster帧上匹配点进行矩阵变换，计算匹配点对的汉明距离d，设定汉明距离的阈值为T，如果匹配点满足条件d
