首页 科技快讯 深度学习三巨头:AI需要新硬件,万亿突触神经网络或成可能

深度学习三巨头:AI需要新硬件,万亿突触神经网络或成可能

来源:晰数塔互联网快讯 时间:2020年02月13日 12:09

编者按:本文来自微信公众号图灵TOPIA (ID:turingtopia),36氪经授权发布。

作者 | 安然

编辑 | 刘静

近日,在第34届AAAI年度人工智能大会的新闻发布会上,来自多伦多大学的教授Geoffrey Hinton、Facebook的Yann LeCun以及和蒙特利尔MILA人工智能研究所的Yoshua Bengio进行了一场讨论,话题包括人工智能伦理以及“常识”在人工智能中可能意味着什么,以及未来的深度学习神经网络的发展方向。

深度学习三巨头:AI需要新硬件,万亿突触神经网络或成可能

Hinton和Yann LeCun以及Yoshua Bengio在深度学习领域有很高的造诣,被誉为“深度学习三巨头”。

他们表示,新型的硬件可以加速神经网络的训练和推理,可以产生更大的模型,也许有一天会使万亿突触神经网络成为可能,同样重要的是即将到来的机器人革命。

在硬件方面,Hinton进一步解释了限制当今神经网络的技术方面。例如,他指出,神经网络的权值必须使用数百次,并对权值进行频繁的更新。他说,图形处理单元(GPU)的内存有限,必须不断地在外部DRAM中存储和检索,这是一个限制因素。

更大的芯片内存储容量“将有助于像Transformer这样的软注意力,”Hinton说,他指的是在2017年谷歌大会上开发的广受欢迎的自回归神经网络。他说,使用“键/值”对来存储和从内存中检索数据的变压器,如果使用具有大量内嵌内存的芯片,可能会大得多。

LeCun和Bengio对此表示赞同,LeCun指出GPU“迫使我们进行批处理”,即数据样本在经过神经网络时分组,“这是低效的”。另一个问题是GPU假定神经网络是由矩阵产品构成的,这迫使科学家限制了可以构建到此类网络中的转换类型。

Bengio表示:“还有稀疏计算,在GPU上运行不方便……在这种情况下,大多数数据,比如像素值,可能是空的,只有很少的有效位需要处理。

LeCun预测,新的硬件将导致“更大的神经网络与稀疏激活”,他和Bengio都强调,在消耗更少的能量下做同样数量的工作更有兴趣的。

然而,LeCun为人工智能辩护,反驳它是一个能源消耗大户的说法。他说,Facebook每年每个用户消耗的能源是1500瓦,这与其他消耗能源的技术相比,这并不算多。

LeCun表示,硬件最大的问题是在训练方面,它是Nvidia GPU和谷歌TPU的双头垄断,这重复了他去年在国际固态电路会议上提出的观点。

LeCun说,比用于训练的硬件更有趣的是用于推理的硬件设计。LeCun重申了一年前发表的一份声明,称Facebook正在为人工智能开发各种内部硬件项目,包括推理,但他拒绝透露细节。

Hinton指出,当今的神经网络很小,而真正的大神经网络可能只有一百亿个参数。 硬件方面的进步可能会通过制造更大的网络,增加更多的权重来推动AI的发展。

他说:“大脑的一立方厘米内有一万亿个突触。” “如果有通用人工智能之类的东西,它可能需要一万亿个突触。”

至于机器中的“常识”是什么样子的,没有人真正知道,Bengio说。

Hinton抱怨说,人们一直在改变目标,比如使用自然语言模型。“我们终于做到了,然后他们说这并不是真正的理解。他说:“现在我们在这方面做得很好,他们想找些别的东西来评判机器学习。”“这就像试图与一个有宗教信仰的人争论,你不可能赢。”

但是,一位记者问道,公众关心的与其说是缺乏人类理解的证据,不如说是缺乏机器以一种陌生的方式运行的证据,比如“对抗性的例子”。Hinton回答说,对抗性的例子表明分类器的行为还不是很正确。他说:“虽然我们能够正确地对事物进行分类,但网络这么做的理由绝对是错误的。”“相反的例子向我们表明,机器正在以与我们不同的方式做事。”

LeCun指出,动物也会像机器一样被愚弄。他若有所思地说:“你可以设计一个适合人类的测试,但不适合其他生物。” Hinton表示同意,他说:“家猫也有同样的局限。”

此外,LeCun、Hinton、Bengio也是著名的图灵奖的获得者。

三人一致认为,对人工智能来说,另一个可能被证明是巨大进步的东西是机器人。Hinton说:“我们正处于一场革命的开端,这将是一个大问题”。许多应用程序,如视觉。他说,机器人不是分析一个静态图像或视频帧的全部内容,而是创建一个新的“感知模型”。

他解释说:“你要先看一个地方,然后再看另一个地方,所以现在就变成了一个涉及注意力活动的连续过程。”

Hinton预测,去年OpenAI在操纵魔方方面的工作,是机器人技术的一个分水岭,或者更确切地说,是“AlphaGo时刻”。

LeCun对此表示赞同,他说Facebook运行人工智能项目并不是因为Facebook本身对机器人有着极大的兴趣,而是因为它被视为“人工智能研究进步的重要基础”。

这三位科学家对某些观点表示怀疑,虽然大多数有关深度学习的研究都是公开进行的,但一些公司在吹嘘人工智能的同时对细节保密。

“它之所以被隐藏起来,是因为它让人们觉得它很重要,”Bengio说,而实际上,许多深入公司的工作可能并不具有开创性。“有时候,公司会让它看起来比实际复杂得多。”

Bengio继续在三大角色中继续扮演自己的角色,他在AI的社会问题上直言不讳,例如建立道德体系。

当LeCun被问及面部识别算法的使用时,他指出,技术可以用于好的和坏的目的,这在很大程度上取决于社会的民主制度。但是Bengio稍微反驳说:“Yann说的显然是真的,但是杰出的科学家有责任说出来。”LeCun若有所思地说,“为社会做决定”并不是科学的工作,这促使Bengio做出回应,“我不是在说要做决定,我是说我们应该参与进来,因为一些国家的政府对这种参与是开放的。”

Hinton经常用幽默的旁白来强调事情,在会议快结束时,他指出了自己在Nvidia问题上的最大错误。“2009年,我在Nvidia身上犯了一个大错误,”他说。“2009年,我告诉1000名研究生,他们应该去购买Nvidia GPU,以加速他们的神经网络。我打电话给Nvidia,说我刚向1000名研究人员推荐了你们的GPU,你能给我一个免费的吗?他们说不行。

“如果我真的聪明的话,我应该做的是把我所有的积蓄都投入Nvidia的股票。当时股价是20美元,现在大概是250美元。”

参考链接:

https://www.zdnet.com/article/ai-on-steroids-much-bigger-neural-nets-to-come-with-new-hardware-say-bengio-hinton-lecun/

相关推荐

深度学习三巨头:AI需要新硬件,万亿突触神经网络或成可能
图灵奖颁给深度学习三巨头,他们曾是一小撮顽固的“蠢货”
对话深度学习奠基人特伦斯:AI的进化动力与终极限制
图灵奖颁给深度学习三巨头,他们曾是顽固的“蠢货”
深度学习教父辛顿:未来神经网络可以重建人脑意识
25000个神经元,2000万个突触,谷歌等机构耗时十年重建突触级果蝇半脑
重建脑科学与AI之间的桥梁,人工神经网络比机器学习更优吗?
大脑神经网络:不完美的“民主社会”
Science子刊:人脑存在加速学习机制,算力赛过最新AI算法
深度解析:AI倒逼下的英特尔

网址: 深度学习三巨头:AI需要新硬件,万亿突触神经网络或成可能 http://www.xishuta.com/newsview17535.html

所属分类:互联网创业

推荐科技快讯