首页科技快讯深度学习三巨头：AI需要新硬件，万亿突触神经网络或成可能

深度学习三巨头：AI需要新硬件，万亿突触神经网络或成可能

来源：晰数塔互联网快讯时间：2020年02月13日 12:09

编者按：本文来自微信公众号图灵TOPIA （ID：turingtopia），36氪经授权发布。

作者 | 安然

编辑 | 刘静

近日，在第34届AAAI年度人工智能大会的新闻发布会上，来自多伦多大学的教授Geoffrey Hinton、Facebook的Yann LeCun以及和蒙特利尔MILA人工智能研究所的Yoshua Bengio进行了一场讨论，话题包括人工智能伦理以及“常识”在人工智能中可能意味着什么，以及未来的深度学习神经网络的发展方向。

深度学习三巨头：AI需要新硬件，万亿突触神经网络或成可能

Hinton和Yann LeCun以及Yoshua Bengio在深度学习领域有很高的造诣，被誉为“深度学习三巨头”。

他们表示，新型的硬件可以加速神经网络的训练和推理，可以产生更大的模型，也许有一天会使万亿突触神经网络成为可能，同样重要的是即将到来的机器人革命。

在硬件方面，Hinton进一步解释了限制当今神经网络的技术方面。例如，他指出，神经网络的权值必须使用数百次，并对权值进行频繁的更新。他说，图形处理单元(GPU)的内存有限，必须不断地在外部DRAM中存储和检索，这是一个限制因素。

更大的芯片内存储容量“将有助于像Transformer这样的软注意力，”Hinton说，他指的是在2017年谷歌大会上开发的广受欢迎的自回归神经网络。他说，使用“键/值”对来存储和从内存中检索数据的变压器，如果使用具有大量内嵌内存的芯片，可能会大得多。

LeCun和Bengio对此表示赞同，LeCun指出GPU“迫使我们进行批处理”，即数据样本在经过神经网络时分组，“这是低效的”。另一个问题是GPU假定神经网络是由矩阵产品构成的，这迫使科学家限制了可以构建到此类网络中的转换类型。

Bengio表示：“还有稀疏计算，在GPU上运行不方便……在这种情况下，大多数数据，比如像素值，可能是空的，只有很少的有效位需要处理。

LeCun预测，新的硬件将导致“更大的神经网络与稀疏激活”，他和Bengio都强调，在消耗更少的能量下做同样数量的工作更有兴趣的。

然而，LeCun为人工智能辩护，反驳它是一个能源消耗大户的说法。他说，Facebook每年每个用户消耗的能源是1500瓦，这与其他消耗能源的技术相比，这并不算多。

LeCun表示，硬件最大的问题是在训练方面，它是Nvidia GPU和谷歌TPU的双头垄断，这重复了他去年在国际固态电路会议上提出的观点。

LeCun说，比用于训练的硬件更有趣的是用于推理的硬件设计。LeCun重申了一年前发表的一份声明，称Facebook正在为人工智能开发各种内部硬件项目，包括推理，但他拒绝透露细节。

Hinton指出，当今的神经网络很小，而真正的大神经网络可能只有一百亿个参数。硬件方面的进步可能会通过制造更大的网络，增加更多的权重来推动AI的发展。

他说：“大脑的一立方厘米内有一万亿个突触。” “如果有通用人工智能之类的东西，它可能需要一万亿个突触。”

至于机器中的“常识”是什么样子的，没有人真正知道，Bengio说。

Hinton抱怨说，人们一直在改变目标，比如使用自然语言模型。“我们终于做到了，然后他们说这并不是真正的理解。他说:“现在我们在这方面做得很好，他们想找些别的东西来评判机器学习。”“这就像试图与一个有宗教信仰的人争论，你不可能赢。”

但是，一位记者问道，公众关心的与其说是缺乏人类理解的证据，不如说是缺乏机器以一种陌生的方式运行的证据，比如“对抗性的例子”。Hinton回答说，对抗性的例子表明分类器的行为还不是很正确。他说：“虽然我们能够正确地对事物进行分类，但网络这么做的理由绝对是错误的。”“相反的例子向我们表明，机器正在以与我们不同的方式做事。”

LeCun指出，动物也会像机器一样被愚弄。他若有所思地说：“你可以设计一个适合人类的测试，但不适合其他生物。” Hinton表示同意，他说:“家猫也有同样的局限。”

此外，LeCun、Hinton、Bengio也是著名的图灵奖的获得者。

三人一致认为，对人工智能来说，另一个可能被证明是巨大进步的东西是机器人。Hinton说：“我们正处于一场革命的开端，这将是一个大问题”。许多应用程序，如视觉。他说，机器人不是分析一个静态图像或视频帧的全部内容，而是创建一个新的“感知模型”。

他解释说：“你要先看一个地方，然后再看另一个地方，所以现在就变成了一个涉及注意力活动的连续过程。”

Hinton预测，去年OpenAI在操纵魔方方面的工作，是机器人技术的一个分水岭，或者更确切地说，是“AlphaGo时刻”。

LeCun对此表示赞同，他说Facebook运行人工智能项目并不是因为Facebook本身对机器人有着极大的兴趣，而是因为它被视为“人工智能研究进步的重要基础”。

这三位科学家对某些观点表示怀疑，虽然大多数有关深度学习的研究都是公开进行的，但一些公司在吹嘘人工智能的同时对细节保密。

“它之所以被隐藏起来，是因为它让人们觉得它很重要，”Bengio说，而实际上，许多深入公司的工作可能并不具有开创性。“有时候，公司会让它看起来比实际复杂得多。”

Bengio继续在三大角色中继续扮演自己的角色，他在AI的社会问题上直言不讳，例如建立道德体系。

当LeCun被问及面部识别算法的使用时，他指出，技术可以用于好的和坏的目的，这在很大程度上取决于社会的民主制度。但是Bengio稍微反驳说：“Yann说的显然是真的，但是杰出的科学家有责任说出来。”LeCun若有所思地说，“为社会做决定”并不是科学的工作，这促使Bengio做出回应，“我不是在说要做决定，我是说我们应该参与进来，因为一些国家的政府对这种参与是开放的。”

Hinton经常用幽默的旁白来强调事情，在会议快结束时，他指出了自己在Nvidia问题上的最大错误。“2009年，我在Nvidia身上犯了一个大错误，”他说。“2009年，我告诉1000名研究生，他们应该去购买Nvidia GPU，以加速他们的神经网络。我打电话给Nvidia，说我刚向1000名研究人员推荐了你们的GPU，你能给我一个免费的吗?他们说不行。

“如果我真的聪明的话，我应该做的是把我所有的积蓄都投入Nvidia的股票。当时股价是20美元，现在大概是250美元。”

参考链接：

https://www.zdnet.com/article/ai-on-steroids-much-bigger-neural-nets-to-come-with-new-hardware-say-bengio-hinton-lecun/