结合手势与AR，这项研究让我看到了沉浸感音乐的未来

本文来自微信公众号“青亭网”（ID:qingtinwang），作者：前沿科技新媒体，36氪经授权发布。

为了让你自然操控AR眼镜，Facebook从多种方向探索AR的交互方式，比如：用摄像头、体感手套来追踪手势，或是用EMG肌电技术追踪五指的运动神经信号等等。

实际上，除了自然的交互外，手指的触觉反馈也能帮助增加AR的沉浸感。那么，如何将触觉和手势交互自然结合呢？为了探索这个问题，Facebook科研人员研发了一种改变视觉、声觉和触觉的体感增强系统：Tactile Echoes。

Tactile Echoes的联合设计者Anzu Kawazoe（加州大学博士候选人）表示：Tactile Echoes可能是首款将AR投影、手势识别等多重模拟反馈结合的体感方案。它具有10种可调试的参数，支持模拟多样化的多感官反馈。

据悉，Tactile Echoes又被科研人员称为“基于手势的多重感官增强系统”，其特点是采用可穿戴式设计，与基于投影的AR界面结合，Echoes基于AR投影，手势追踪通过摄像头，而体感反馈则通过手指上方的压电传感器和制动器来实现。

采用AR投影界面的好处是，体验者的手可直接触碰桌面并得到反馈，无需控制按钮或触屏来进行输入，因此体验感更自然，而且可以融合视觉、体感、听觉多重感官反馈。应用场景方面，可用于游戏、娱乐、科研等等。

细节方面，整套系统包含：压电传感器、制动器、声卡、PC、扬声器和音频放大器。压电传感器在识别到手指震动信号后，会传输到PC中进行处理，并输出至制动器中，对手指产生震动反馈，与此同时扬声器也将发出音频反馈。而AR投影则提供视觉UI。

实际上，在日常生活中你用手指敲打桌面时，通常能听到哒哒声，而Tactile Echoes方案想了解的是，能否用空洞的回音，或是哄哄的雷声来代替哒哒声。

也就是说，摄像头识别到手指与平面接触时产生的震动强度，会影响你与AR界面的交互体验。Tactile Echoes产生的体感和音频反馈与手指接触表面的力度相关，用力越大反馈越强烈，当你轻触某样物体时，可能会听到轻轻的回声，当你用力捅某样东西时，可能会听到砰的回声。而当你的手指触碰不同的界面时，得到的反馈也有所不同。

打个比方，当你短暂用手敲击AR界面时，会得到不连续的回声，如果你用手指在AR界面上滑动，则会产生持续的回声。除此之外，还会根据触屏的表面或位置渲染不同的体感反馈。

Kawazoe表示：我们的灵感是，通过Tactile Echoes来增强木桌等普通平面的触感，加入动态的体感反馈和音效，对触碰做出响应。

Facebook表示：Tactile Echoes是一个穿戴式触觉反馈系统，其特点是可捕捉手指触碰桌子等平面产生的震动，并实时处理震动数据，转化为“回声反馈”，就像是将触觉震动转化为声音震动，从而产生回声的一种持续的反馈过程。

在实验中，科研人员创造了一个2D的AR音乐合成界面，看起来互动性足够优秀，尽管只是虚拟的AR界面，也能同时提供触觉、震动、音频的自然反馈。

科研人员采用了VR/AR头显、交互式AR投影来展示视觉效果。实验共分为两种，一种是调查体验者对于不同音效、体感反馈的认知，而第二个实验中，体验者需要完成结合Tactile Echoes方案的交互式AR游戏。体验者表示：音频和体感反馈有效提升了游戏交互的响应能力，而且沉浸感和临场感也加强了。

在第一场实验中，体验者共经历35次测试，每次需要用动词或形容词来描述自己的感受。科研人员调查了体验者对于回声反馈与触觉结合的看法，通过一些触觉游戏，让体验者对比Tactile Echoes的体验感与传统体感游戏的区别。

科研人员还发现了一些与感知相关的有趣现象，比如：体感反馈延迟，出现了知觉掩蔽现象，也就是说某种刺激会影响人们对另一种刺激的强度感知。未来，科研人员将在相关的方向继续进行实验，并将结果用于优化整个Tactile Echoes系统。

此外，Facebook计划与企业合作，将Tactile Echoes商业化，应用于桌面游戏、音乐演奏、教育等场景。

参考：

https://spectrum.ieee.org/tech-talk/consumer-electronics/gadgets/new-ar-system-alters-sight-sound-and-touch

相关推荐

结合手势与AR，这项研究让我看到了沉浸感音乐的未来
AR沉浸式视角+手势交互，「Realmax」还要建立AR内容生态
新商业NEO100 | 凌感科技费越：自然手势交互好比iphone的自然触摸，正处于爆发的临界点
在扎克伯格眼中，AR的未来是这样的
Facebook AR/VR战略揭秘：为何自研操作系统、低门槛AR眼镜是未来
Pixel 5或取消Motion Sense，手势操控是个伪命题？
Google 或在 Pixel 5 上取消 Motion Sense，手势操控真的是个伪命题？
对话扎克伯格：未来AR/VR将取代线下活动和艺术展
Facebook脑机接口迎新突破，但AR/VR交互却转向EMG肌电控制
5G与VR/AR到底有没有一毛钱关系？我们认真的做了这些研究

网址: 结合手势与AR，这项研究让我看到了沉浸感音乐的未来 http://www.xishuta.com/newsview47478.html