首页科技快讯潮科技 | Oculus 揭秘 Touch 控制器追踪技术“LED 匹配”

潮科技 | Oculus 揭秘 Touch 控制器追踪技术“LED 匹配”

来源：晰数塔互联网快讯时间：2019年11月07日 16:41

头图来源 | Oculus官网

编者按：本文来自微信公众号“映维网ARVR”（ID：YivianXR），作者映维网，原文题目《Oculus揭秘 Touch 控制器追踪技术：LED 匹配》，36氪经授权发布，略有删减。

（映维网 2019年11月05日讯）映维网曾在九月分享了一篇关于 Oculus Constellation 追踪系统，其中负责 AR/VR 设备输入追踪的 Facebook 工程经理安德鲁·梅利姆（Andrew Melim）撰文介绍了他们是如何用基于 Constellation 追踪的控制器来提高交互保真度。日前，梅利姆再次撰文，并讲解了他们在最近版本更新中所采用的最新 LED 匹配方案。下面是映维网的具体整理：

从二维 blob 到三维姿态

摄影测量中存在一个经典问题：Perspective-n-Point（PnP），亦即在给定图像及其里面的已知 3D 点的情况下识别 camera 姿态。我们要解决的问题是确保控制器追踪工作正常进行，而与 PnP 问题相反的是，我们已经能够很好地估算出头显 camera 姿态，但我们希望找到具有已知 3D 点（LED）的控制器姿态。

一旦检测到摄像头成像中的每个红外 LED，我们需要解决的困难是确定从每个 blob 到控制器特定 LED 的映射。我们利用 LED 位置及其到 blob 的映射来确定控制器的位置和方向。由于我们仅使用头显数据来执行跟踪，所以我们必须高效地执行这一过程的每个部分。

计算机视觉中的 Blob 是指图像中的一块连通区域，Blob 分析就是对前景/背景分离后的二值图像，进行连通域提取和标记。标记完成的每一个 Blob 都代表一个前景目标，然后就可以计算 Blob 的一些相关特征，如：面积、质心、外接矩形等几何特征。同时可以计算 Blob 的颜色、纹理特征，而它们都可以作为追踪的依据。基于 Blob 的追踪属于基于区域的追踪。

在将 blob 与 LED 匹配的过程中，我们围绕可能正确的潜在匹配生成一组假设。为了计算出准确的姿态，我们需要最少的匹配项。我们的算法能够根据我们处理的各种变量来从概率方面确定最可能的正确匹配。不正确的映射会纳入直接导致姿态估计不准确的错误，所以我们需要在每帧中获得足够的准确匹配。

用多视图来优化匹配

为了解决 LED 匹配问题，我们实现了在每帧上运行的多种方法。但广义上讲，它们分为两个主要类别。第一是穷举方法，亦即强制应用解决方案，而我们通俗地将其称为“暴力匹配”。当没有关于控制器位置和方向的先验信息时，我们就会使用这些方法。当从前一个摄像头图像中获得控制器的姿态时，我们就可以在更小的窗口内进行搜索，而我们将其称为“接近匹配”。

在一开始，管道一次搜索一个 camera 中的 blob。这要求假设生成 blob 和验证 blob 都在同一个camera 中，亦即意味着一个 camera 中至少要检测到4个 blob 才能成功匹配。另外，它非常有可能导致多个 camera 之间产生矛盾匹配结果。为了解决这个问题，我们开发了全新的匹配管道：在评估不同 camera 中的 LED-blob 对应关系时，它将利用立体摄像头校准数据。这使我们能够依靠每个摄像头之间的关系来帮助解决不确定性。

潮科技 | Oculus 揭秘 Touch 控制器追踪技术“LED 匹配”