首页科技快讯 Facebook脑机接口迎新突破，但AR/VR交互却转向EMG肌电控制

Facebook脑机接口迎新突破，但AR/VR交互却转向EMG肌电控制

来源：晰数塔互联网快讯时间：2021年07月20日 19:52

本文来自微信公众号“青亭网”（ID:qingtinwang），编辑：Esther，36氪经授权发布。

近年来，Facebook、Valve、Neurallink都入局了脑机接口，这项技术原本是为脑瘫等失去语言能力的患者打造的，而未来似乎也将用于AR/VR等下一代计算平台。为了探索脑机接口在AR/VR应用的前景，过去四年来，Facebook一直在探索BCI技术在AR/VR的应用，并取得较大成果。

据青亭网了解，Facebook的BCI项目主要包括两个部分：1）内部团队研究的穿戴式光学BCI；2）与加州大学旧金山分校（UCSF）合作研发的植入式BCI。其中，Facebook更关注非侵入式脑机接口的研究方向，而植入式脑机接口的技术和算法未来可能会应用于EMG腕带等非侵入式接口，未来应用场景包括全天候AR眼镜。

近期，Facebook和UCSF在《新英格兰医学杂志》上公开了最新的脑机接口研究方案：Project Steno。据悉，该方案可以分析瘫痪患者大脑皮层负责语言的部分，并解码为完整的文字，特点是严重失语的人第一次使用也有很好的表现。

目前，市面上已经有各种不同形式的侵入式和非侵入式脑机接口技术，其中大多数的功能是控制机械臂、操作菜单界面、识别生物信息等等，很少可以将脑信号直接转写成文字。而且，体积小巧、轻便的脑机接口设计也不多见。

将脑中的想法变成文字，似乎是科幻电影中描绘的理想效果，不过这一功能已经在Project Steno上实现。该方案可快速解读大脑运动皮层向声道发送的信号，识别打招呼、描述状态等简单对话。共可区别50个单词，并组合生成1000句话，文字识别准确率可达93%，速度达每分钟18个单词。

实际上，Facebook Reality Labs从2017年就开始探索BCI项目，其长期目标是开发一种无声的非侵入式语音接口，可以将使用者脑中的想法转成文字，帮助失语者恢复自然交流能力。

而Project Steno从2019年开始研发，这项脑机接口技术标志着神经科学的一个重要里程碑，与此同时，也标志着Facebook与UCSF合作项目的落幕。本次合作项目结束后，Facebook会将脑机接口软件开源，并与科研人员和同行共享头戴式脑机接口原型，希望能够推动脑机接口生态和技术的继续发展，将其应用于帮助语言障碍患者交流等医疗辅助场景。

Facebook表示：这项脑机接口技术可用于临床实验场景，也可能用于光学BCI、EMG腕带等非侵入式消费级产品，甚至作为AR眼镜的输入方式。

不过，短期内Facebook似乎对于植入式技术并无兴趣。接下来，Facebook会将重心从脑机接口向EMG腕带转移，加速腕带式神经接口与AR/VR的结合。也就是说，未来Facebook会将BCI团队基础研究成果用来优化腕带输入方式，同时将放弃无声的非侵入式语音接口。

关于Project Steno

Facebook表示：目前，该脑机接口对于患者来讲，Project Steno比16年来他使用过的所有BCI方案都更轻便，同时这项技术对于神经科学领域也是一个关键里程碑。

两年前，该方案可实时识别大量词语，误差极低。后来在去年，科研人员利用机器学习技术实现了对完整句子的识别。

UCSF神经外科系主任Edward Chang表示：我们在UCSF的科研团队已经从事“语音神经假肢”的研究十年多时间。在过去5年来，随着机器学习技术发展，语音神经假肢技术得到长足发展。因此利用Facebook的机器学习专业技术，以及资金支持，我们加速了脑机接口的研发，更好的分析大脑处理语言任务的方式。

不过此前的研究是在大声讲话的人身上进行的，为了验证Project Steno方案在失语症患者身上的效果，科研人员为一名参与者进行了选择性外科手术，在他的脑皮层下植入了电极模块。据悉，这位患者曾经历多次中风，无法正常说话交流。

在实验过程中，该患者为科研人员提供了数十个小时的文字转写数据，后来这些数据被用于训练机器学习模型，用来识别语音意图，以及分类词语。

Facebook脑机接口布局

在这个合作项目中，Facebook为UCSF的科研人员提供了机器学习相关的建议和反馈，以及科研资金，与此同时整个项目的实验由UCSF设计和监督。

Facebook表示：我们并不参与任何形式的数据收集，而且对于开发植入式BCI也并无兴趣。自助UCSF主要是为了帮助科研人员扩大服务器容量，加速模型测试，以及获得更多准确的实验结果。

除了Project Steno外，Facebook此前也曾研究基于近红外原理的大脑血氧合检测方案，以及识别组织性运动的非侵入式脑机接口方案。据悉，Facebook的穿戴式光学BCI基于近红外光技术（未来或采用LiDAR或手机摄像头），外观和体积看起来像大号的耳机。相比之下，植入式BCI方案体积更小，不过需要手术。

Facebook表示：植入式BCI方案的目标是，验证无声脑机接口能否达到100词/分钟的计算速度，并探索需要识别的神经信号类型。

Project Steno首次展示了结合讲话意图和语言模型的BCI，以及BCI技术结合语言统计特征的潜力。通过预判和推断连续组合的单词来构成句子（类似于手机输入法的自动校正和自动关联功能），将可以大幅提升BCI的准确率。

AR/VR交互重点将转向EMG肌电控制

在完成Project Steno项目研发后，Facebook Reality Labs开始重新评估其BCI项目的整体目标。尽管FRL的长远目标依然是头戴式光学BCI技术，但FRL已决定将AR/VR交互的研发重点放在EMG腕带上，因为这种形式的神经接口进入市场的路径更快更短。

FRL科研总监Sean Keller表示：我们正在开发一种应用于全天候AR眼镜的，更加自然、直观的交互方式，这种交互方式将不影响使用者在日常生活中的行为。尽管目前对于EMG腕带的研究依然在初期阶段，但FRL相信它将成为AR眼镜的核心输入方式，未来我们还将应用在BCI上的研究经验，来加速EMG腕带技术发展。

Mugler表示：我们意识到，光学BCI研究中所采用的生物反馈和实时解码算法也可用于提升EMG腕带技术，让你可以在穿上腕带几分钟内就能实现意图读取。此外，为了提升EMG腕带的准确性，实时解码算法可通过语言的统计特征来推断使用者的输入意图。

看起来，BCI技术或许可以提升EMG腕带的文字输入能力，实现用手势快速打字的效果。

总之，Facebook在过去四年一直在寻找AR眼镜的自然输入方式，不过他们发现，短期内BCI难以成为AR的输入方式。后来在EMG腕带技术更加成熟后，看到了腕带方案的前景，并计划利用EMG来取代更复杂、成本更高的BCI。

接下来，Facebook还将公开关于穿戴式体感设备的最新研究，这项技术将优化用户在AR/VR中的存在感，并带来更多形式的交互场景。

参考：

https://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/