AI也需要睡眠？

人类需要充足的睡眠才能有最好的状态，而最新研究发现，人工神经网络也可能受益于长时间的休息。模拟神经网络中类似睡眠周期的状态，可以消除人工模拟大脑中不间断的自学习带来的不稳定性。本文来自微信公众号：学术头条（ID：SciTouTiao），作者：何静，原标题《AI也需要睡眠？Reddit网友吵翻了：说得好像我们很了解睡眠一样》，题图来自：《机械战警》

众所周知，充足的睡眠可以带来元气满满的一天，提高工作效率，无论是动物还是人类，都可以得到充足睡眠带来的好处。

而近日洛斯阿拉莫斯国家实验室 (Los Alamos National Laboratory) 的一项研究表明，人工计算大脑也可以从睡眠中受益，这种好处与睡眠给人类所带来的好处类似。

人工计算大脑的灵感来自于人类大脑的神经连接。想象一下，一个由相互连接的节点组成的庞大分层网络，他们互相通信。一连串的信息波，通过一系列电子发射穿过结构。网络中的每个节点或 “神经元” 都有自己的数据和信号供应，以便将数据传输到下一层节点。

随着时间的推移，神经网络调整这些神经元之间独特的相互作用，以提高其解决问题的能力。神经组合的路线图会慢慢地微调，直到系统为给定的任务开发出最佳策略。

人造大脑需要睡眠

在这项研究中，洛斯阿拉莫斯国家实验室的研究人员重点研究了脉冲神经网络，它的功能不同于标准的人工神经网络。这些计算系统更接近于人脑的神经回路，神经元在接收到大量输入信号后产生一个信号。科学家们仍在学习如何训练脉冲神经网络，因为这些系统需要与典型的人工神经网络完全不同的方法。

洛斯阿拉莫斯国家实验室的计算机科学家 Yijing Watkins 说道:“我们研究的是脉冲神经网络，该系统能像人类大脑一样学习。而且我们对神经形态处理器的一种训练方法有极大的兴趣，该方法可以通过模仿人类以及其他生物在童年期从环境中学习的方式来进行训练。

Watkins 和她的研究小组发现，连续一段时间的无监督学习后，神经网络模拟变得不稳定。当他们将神经网络暴露在类似于人类大脑在睡眠时所经历的波动状态时，稳定性就恢复了。Watkins 说：“这就好像我们让人工神经网络好好睡了一晚一样。”

这一发现是研究小组在开发神经网络时发现的，该神经网络与人类和其他生物系统学习的方式非常接近。一开始，研究小组在进行无监督字典训练时，很难稳定模拟神经网络，这涉及到对对象进行分类，而没有先前的例子来比较它们。

“一般很少会碰到这种让学习系统更稳定的问题，只有在尝试使用仿生的脉冲神经形态的处理器，或者试图理解生物学本身时，才会碰到这种问题。” 洛斯阿拉莫斯的计算机科学家和研究合著者 Garrett Kenyon 说，“绝大多数机器学习、深度学习和人工智能研究人员从来没有遇到过这个问题，因为在他们研究的人工系统中，他们可以执行全局数学运算，从而调节系统的整体动态增益。”

研究人员认为，将神经网络暴露在模拟睡眠状态下的决定，几乎是稳定网络的最后一搏。他们对各种类型的噪音进行了实验，这些噪音大致相当于调谐收音机时可能遇到的电台间的静态电音。当他们使用所谓的高斯噪声波时，得到了最好的结果。

研究小组的下一个目标是在英特尔的 Loihi 神经形态芯片上实现他们的算法。他们希望让 Loihi 时不时地进入睡觉状态，使其能够稳定地实时处理来自硅视网膜摄像头的信息。如果这些发现证实了人造大脑需要睡眠，我们或许可以期待未来机器人和其他智能机器也会有同样的情况。

Watkins 团队在 6 月 14 日的 CVPR 大会上对该项研究做了详细介绍，文章一经发表，也在 Reddit 网站上引起热议。

Reddit 热议：人造大脑真的是在睡觉吗？

有网友指出，称人造大脑的稳定状态类比于睡眠状态有待商榷，因为如果我们不了解睡眠，我们怎么能说他们相似或不相似？唯一相似的地方，是噪声和脑波中存在的波形，该波形随处可见，并非睡眠独有。

而也有网友表达不同的意见，他认为如果我们把 “睡眠” 概念化为一种恢复退化的认知功能的无反应的恢复过程，那么睡眠对于任何给定的系统都将是一个不同的过程，但最终功能是相同的，本文所描述的过程甚至可能是相符的。

除此外，有网友质疑该研究在很大程度上夸大了人造大脑与睡眠的相似之处，使得它的适用性比现在更加广泛。

脉冲神经网络虽然经常被誉为第三代人工神经网络，但是属于相当小众的研究领域。对于传统的 CNN 来说，这种技术可能并不需要，因为它们在训练过程中会不断地进行自我规则化。

也有网友补充知识点，生物神经网络具有固有的延迟，因为电信号在网络中传播需要时间，长时间训练网络也非常困难。

信号需要时间流过网络，如果正在训练，则需要进行反向传播来加强连接。如果最短路径和最长路径之间的时间差变得太大，则将先处理一条路径，而另一条路径仍在传播。然后当后来的输入进入时，前一个输入的潜在处理将破坏新数据，即引起“幻觉”。

这位网友指出，研究人员所做的 “重置” 很可能是发送固定频率的脉冲，其中或许有一个作用，就是优化由于最近学习而加强的路径，使路径之间的时间间隔缩短到某个阈值以下，以防止幻觉的产生。

该网友还建议将生物神经网络与人工神经网络完全区别对待。虽然人工神经网络可能会受到生物学的启发，但有大量的基本差异使得用一个来描述另一个变得困难。

参考链接：
[1]https://www.lanl.gov/discover/news-release-archive/2020/June/0608-artificial-brains.php?source=newsroom
[2]https://www.techrepublic.com/article/turns-out-artificial-brains-need-sleep-too-but-do-they-dream/
[3]https://www.reddit.com/r/science/comments/gzxi3w/artificial_brains_may_need_sleep_too_neural/ftk3h1p/

本文来自微信公众号：学术头条（ID：SciTouTiao），作者：何静                

相关推荐

AI也需要睡眠？
AI也需要睡眠？Reddit网友吵翻了
AI也需要做梦吗？
睡眠难题扇动“睡眠生意”风，美国睡眠护理品牌「Remrise」获820万美元种子轮融资
在床垫上加入AI智能调节，慕思想延长人的深度睡眠时间
睡眠五小时，精神一整天？为大脑“快充”的睡眠优化技术来了
苹果智能手表推睡眠追踪功能Burrito，监控睡眠质量
睡眠学习，到底靠谱不？
首月预售超200万元，美国睡眠品牌「Vesta」用科技产品逻辑重构轻量睡眠品
疫情下的“世界睡眠日”：你睡得还好吗？

网址: AI也需要睡眠？ http://www.xishuta.com/newsview25748.html