计算机读取你“脑子里的画面”，10年内也许能就实现

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：脑界面技术已经成为最前沿技术，不过还不成熟，能否用设备读取大脑中想象的画面呢？日本科研团队证明可以，只是精度还不够高。原文作者是Thomas Smith，标题是：Computers Will Be Able to Read Images From Your Brain Within a Decade。 

我能记住图像，我有时空联觉（time-space synesthesia）。什么意思？就是说对于去过的任何地方，我能想到它的细节，而且是图像细节。即使是没有去过的地方，我也能想象，就像自己在视频游戏中一样。

很酷，我是一名摄影师，能够提前想象对于我的职业作用很大。我喜欢与其它人分享脑海中的图像，但有一个麻烦：我的画画得很烂。我可以想象巴黎圣母院是怎样的，可以想想我的第一套公寓是怎样的，有着栩栩如生的细节，但是当我拿起笔，开始画脑海中的图像，那就糟糕了，我的画如同2岁孩子的涂鸦。

于是乎，有一件事让我兴奋起来：日本京都大学的研究人员正在开发一套AI系统，它可以做一些了不起的事，也就是利用深度学习和生成网络，AI可以阅读人脑中的图像，将它变成数字照片，精准度达到99%。

眼前看到的图像AI可以读出来，想象的图像也能画出来。现在AI画的图像分辨率还很低，而且人必须待在MRI机器内才能进行。但这套AI系统指向一种可能性：随着技术的进步，脑阅读硬件会继续优化，最终计算机将有能力扫描我们的大脑，将我们的精神图像变成实际照片，可以存储，也可以分享。这样的技术10年内就会出现。

2018年京东大学开始实验，2019年在《PLoS Computational Biology》发表论文。2018年《科学杂志》报道了系统是如何运作的。研究人员将实验对象推进fMRI扫描机器，然后记录大脑活动。与传统MRI不同，fMRI会检测大脑内部血的流速，如此一来研究人员就能知道在执行特定任务时大脑哪部分最活跃。当记录大脑信号时，研究人员向测试者展示几千张图片。研究人员获取大量大脑信号数据，每一组信号对应特定图像。

随后，研究人员将数据输入深度神经网络（DNN），训练网络生成图片。神经网络相当于“奇妙的图案探测器”，研究人员向测试者展示图片，神经网络生成与大脑活动相匹配的图像，然后精炼200多次。最终系统可以根据fMRI数据展示的大脑活动绘图，根据实验者看到图像绘图。

然后研究人员做了调整，将深度神经网络的输出结果交给已经训练过的生成网络。生成网络是一种相对较新的先进AI网络，过去10年才出现。这种特殊神经网络接收基本输入信息，然后生成新照片和新视频，逼真度更高。深度伪造、人工人、一些Snapchat滤镜也用到了生成网络。在这里，研究人员用生成网络将从大脑中阅读的图像变成正常图像，它更像照片。

最终系统阅读大脑活动数据，然后用深度神经网络转化为初步图像，再用生成网络优化，让初步图像更逼真。为了测试系统的输出结果，研究人员挑选一些人组成裁判团，向他们展示AI生成的图像。裁判要将从大脑读取的图像与输入图像匹配。

在匹配过程中，正确率高达99%。这个结果相当惊人：单纯使用大脑信号和AI，研究人员就能重建大脑中的图像，效果如此好。

你自己也可以试一试。看下面这张图片，上面一排是在实验时展示给实验者看的原始图片；下一排是通过脑信号重建的图像。二者并非完全一样，甚至有很大差异，但还是可以看出二者之间有很多相似性，容易判定是一组。

接下来研究人员调整了实验方法。研究人员让实验者在脑海中想象之前看到的图像，系统表现不错，它能扫描出有用的图像。

当然，与实验者看到真实照片再扫描相比，读取想象并重建的图像质量没有那么高。不过当实验者想象简单、高对比图形时，比如白色背景上的圆，用系统扫描，重建的图像与真实图像匹配率达到83.2%。

读取想象图像时，相比技术，影响最大的可能是实验者本身。很简单，要让人长时间想象一幅画像很困难，而且人记忆的逼真度也各有不同。

就目前来说，根据实验者神经信号提取的图像仍然是粗糙的。不过不要忘了，最初的数字照片也是粗糙的。日本研究人员的研究向我们证明：从大脑读取图像是可能的。现在找到了方向，接下就是要优化技术——以尽可能快的速度优化。

首先，输出数据的分辨率可以大幅提高。研究人员用的是fMRI，它的空间分辨率大约是2毫米。并不差，但尽管如此，仍然意味着研究人员要将大约10万个神经元的反应汇聚到一个评测数据点上。有的设备分辨率比fMRI高很多，未来也许可以引入。

想达到超高分辨率，一般要通过大脑植入物实现。随着神经网络的进化，未来研究人员也许可以用非侵入式、容易穿戴的大脑设备（比如EEG）获得相似精度的数据。目前EEG设备的分辨率约为厘米级别，但新的光学技术能提高分辨率，将EEG与超高分辨率神经网络结合可以大幅提升分辨率。随着EEG和神经网络的进步，软件也许有能力阅读大脑图像，将非侵入式设备套在用户头部就行了，它所获得的分辨率也许比今天的fMRI还要高。分辨率越高就越能理解意识，计算机重建图像也就会更容易。

最大的希望可能来自输入端，也就是来自生成网络，研究人员用它解释大脑数据，将数据变成实际图像。目前最强的生成网络已经很厉害，它能凭借相当少的输入信息绘制高度逼真的图像。比如说OpenAI的Dall-E网络，写一句话：“牛油果型的扶手椅。”它就能根据文字绘制相应的图像，看起来如同人类设计师设计的一样。

如果用大脑数据而非文字来训练神经网络，它也许能利用最微弱的脑活动绘制图像。要做到不容易，需要获取海量训练数据——让人想象大量（数以百万计）不同的图片，然后记录脑电波，用网络分析。如果能收集海量数据，不断优化生成网络，就可以用非侵入式消费级脑界面阅读大脑，获得精准图像，这一愿景也许10年内就能实现。

如果愿景成真，意义自然很重大。艺术与设计将会变天。例如，你可以想象完美厨房是怎样的，计算机将你的设想变成真实照片。你可以将照片交给建筑师或者开发商，然后它们就能根据你的要求打造梦幻空间。

到那时，摄影师不再需要相机，他们只需要用精神拍照就行了，然后系统会从大脑下载图像。产品设计师在大脑内就可以为新设备建模，然后捕捉，用3D打印机将它们变成实际模型。导演可以想象特定电影场景，根据脑图像创作脚本，甚至整个动画电影都能通过想象来完成。

这种技术也能保护人类权益。例如，如果有人见证大屠杀，或者看到有人受到大规模迫害，他可以回忆，AI将记忆变成真实图像，然后就能将作恶者绳之以法。虽然图像的真实性可能不够高，但即使是模糊图像，仍能给司法带来深刻影响。

在军事方面，这种技术的应用前景也是广阔的。例如，审讯时，可以从犯人的大脑中提取奸细的面容图像，不需要犯人同意。或者情报机构派遣一名间谍伪装成游客、承包商，走进一座设施，然后AI从间谍的大脑中下载图像，用图像创建详细平面图，为军事进攻提供指导。

从个人层面看，如果设备能从大脑读取图像，肯定会存在隐私安全担忧。如果类似的技术一直与大脑植入设备连接，它就可以在不知情状态下不断获取图像，这是相当可怕的。

大脑读取设备也会带来一些尴尬。在实验室里，如果研究人员让实验者想一些无害的东西，比如新型手机，结果他想的却是一些让人尴尬的东西，比如主要研究者穿着内裤。心理学告诉我们，你让他越不去想一些东西，他就越会想。

尽管如此，我仍然期待这种技术的到来。研究人员已经在Github公布系统代码，如果你家里有价值500万美元的fMRI，现在就可以阅读自己的意识。如果没有，那就慢慢等着，等着有人将强大的生成网络与消费者脑界面整合。

 译者：小兵手 

相关推荐

计算机读取你“脑子里的画面”，10年内也许能就实现
做决策的时候，你脑子里在想什么？
利用计算机，人类能发现“万物理论”吗？
本源量子加速推出工程化超导量子计算机
一年内实现百万美元营收，这位创业者有5个体会
马斯克的Neuralink，真的要把脑机接口植入你的大脑了？
改变科学的10种计算机工具，你用过哪个？
解读Neuralink最新脑机接口设备，3年内实现“人机共生”真有可能？
走过半个多世纪，计算机图形学的发展历程告诉你5毛钱的电影特效究竟多难
小小的 M1 芯片，也许决定了苹果的命运和未来

网址: 计算机读取你“脑子里的画面”，10年内也许能就实现 http://www.xishuta.com/newsview45048.html