首页科技快讯自然语言处理最强 AI 模型 GPT-3：未来还有多少可能？（上）

自然语言处理最强 AI 模型 GPT-3：未来还有多少可能？（上）

来源：晰数塔互联网快讯时间：2020年12月22日 12:52

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：今年夏天，OpenAI推出了一个新的计算机系统，这个新系统名为 GPT-3。在自然语言处理方面，GPT-3展示出惊人的能力，它能写文章，做翻译，还能生成代码，甚至可以学习一个人的语言模式，并遵循这个模式与人进行谈话。但是，GPT-3也有一定的缺陷，未来还需逐步完善。本文是上篇，主要介绍GPT-3的功能和特性，下篇将介绍GPT-3的缺陷及未来发展方向。本文译自New York Times，作者Cade Metz，原标题为" My Name Is GPT-3 and I Approved This Article"，希望对您有所启发。

今年夏天，旧金山一家名为OpenAI的人工智能实验室公布了一项酝酿数月的技术，即名为GPT-3的新系统。这个系统通过分析数千本电子书、维基百科(Wikipedia)中的文字，以及贴在博客、社交媒体和互联网上的近1万亿单词，来学习自然语言的细节之处。

Mckay Wrigley 是美国盐湖城（Salt Lake City）的一名23岁的电脑程序员，同时他也是少数受邀修补GPT-3系统的人之一。这个系统利用它从浩瀚的数字文本海洋中学到的一切知识，来自行生成新的语言。Wrigley想知道它是否能模仿公众人物，像他们一样写作，甚至聊天。

他的实验之一涉及流行心理学家斯科特·巴里·考夫曼(Scott Barry Kaufman)。GPT-3以考夫曼的名字命名，并且讨论了关于创造力的话题。当被问到“我们如何才能变得更有创造力？”时，GPT-3 立刻回应道：

“我认为创造性表达是成长在多样化世界中的自然副产品。世界越多样化，你接触到的不同的人、不同的机会、不同的地方和不同的挑战就越多。这些点越多样化，你就越有可能把这些点组合在一起，形成新的东西。在很多方面，我认为如果你想要有创造力，你必须去做。如果你想成为一个作家,你必须写,如果你想成为一个音乐家,你必须创建音乐,如果你想成为一个喜剧演员,你必须创造喜剧。你创造的越多，你就越有可能在这些创造的过程中偶然发现一些有趣的东西。”

后来，当Wrigley把这段话发表在Twitter上时，有人@了真正的斯科特·巴里·考夫曼（Scott Barry Kaufman）。考夫曼本人在推特上说：“这听起来就像是我要说的话。”他后来又补充道：“人工智能太准确了。”

在GPT-3问世后的几周内，又接连进行了数十项其他实验，这些实验也以同样的方式让人大为震惊。它能生成推文、写诗、总结电子邮件、回答琐碎问题、翻译语言，甚至可以编写计算机程序，在这一过程中，GPT-3 只需要获得很少的提示就能完成这些任务，其中一些技能甚至让专家们都措手不及。

对于许多人工智能研究人员来说，这是迈向能够理解人类语言变幻莫测、甚至可能解决人类其他技能的机器的一个出人意料的进步。

新墨西哥州圣达菲研究所(Santa Fe Institute)的人工智能研究员梅勒妮·米切尔(Melanie Mitchell)参与了该系统的实验，她说：“这让我感到惊讶，也让很多人感到惊讶。很难弄清楚这东西到底在做什么。”

但是，GPT-3并非完美无瑕，它经常发表带有偏见和恶毒的语言。如果你要求10段斯科特·巴里·考夫曼(Scott Barry Kaufman)风格的文字，它可能会给你5段令人信服的话，而其他5段则不那么令人信服。当考夫曼本人真正和 AI（"Scott Barry Kaufman"）聊天时，并没有像一开始那样印象深刻：

斯科特·巴里·考夫曼（本人）：什么是想象力?

斯科特·巴里·考夫曼(人工智能)：什么是想象力？你应该告诉我！

斯科特·巴里·考夫曼（本人）：你应该知道的！

斯科特·巴里·考夫曼(人工智能) ：不，你应该知道！你才是那个知道什么是想象力的人。你觉得想象力是什么？

这看起来像是真正的谈话。此外，值得注意的是，它也展示了系统可以独立地完成工作，而无需额外编程或调整的能力。

GPT-3是世界领先的人工智能实验室多年工作的成果，这些实验室包括由微软耗资10 亿美元资助的独立组织OpenAI，以及谷歌和Facebook的实验室。在谷歌，也有一个类似的系统帮助回答公司搜索引擎上的查询结果。

这些被称为通用语言模型(universal language models)的系统可以帮助开发一系列工具，比如自动总结新闻文章的服务，以及为在线对话而设计的“聊天机器人”。到目前为止，它们对现实世界技术的影响还很小。但是，GPT-3 为一系列新的可能性打开了大门，比如可以加速新智能手机应用程序开发速度的软件，或者实现更加人性化交谈的聊天机器人。

随着越来越多软件设计师、企业家、专家学者和艺术家开始探索这个系统，每一项新的实验都可能引发一场关于这种技术最终将有多强大的激烈辩论。虽然有人说这可能是通向真正智能机器的道路，但另一些人则认为这些实验虽然令人着迷，同时也存在一定的误导性。

“它非常流利，能言善辩”乔治亚理工学院(Georgia Institute of Technology)教授、研究员马克·里德尔(Mark Riedl)说。“它非常擅长生成听起来合理的文本。然而，它没有做的是提前思考。它没有计划要说什么。它并没有真正的目标。”

一种“新生性”

乔丹·辛格(Jordan Singer)是硅谷移动支付公司Square的产品设计师。他帮助设计了公司的智能手机应用程序，创建图形、菜单、按钮和其他定义应用程序外观和内容的小部件。当他听说GPT-3时，他想知道这个自动化系统是否能完成他的工作。

他向系统输入了一个智能手机应用程序的简单描述，以及创建该应用程序所需的计算机代码。代码描述用的是简单的英语。代码构建在Figma内部，这是Singer等专业人士使用的专业设计工具。

他这样做了几次，在匹配Figma代码的同时向系统输入了更多的英文描述。当他完成这些操作后，GPT-3就可以独立编写这样的代码了。

如果他像用户在 Instagram 上那样描述一个简单的发布和查看照片的应用程序，系统就会生成构建它所需的代码。这段代码有时有缺陷，但在通常情况下，只要辛格做一两个调整，就能达到他想要的效果。“它不是绝对完美的，”他说。“但它非常非常接近完美了。”

这种行为是全新的，甚至连GPT-3的设计者都感到惊讶。他们建造GPT-3并不是为了生成计算机代码，就像他们建造GPT-3并不是为了像考夫曼那样写作，生成tweet或翻译语言一样。他们构建它的目的只有一件事：用一系列单词来预测下一个单词。

GPT-3是人工智能研究人员所称的神经网络，一个松散地模仿大脑神经元网络的数学系统。这项技术可以识别你上传到Facebook上的照片中的人脸，识别你在iPhone上发出的指令。

神经网络通过在大量数字数据中寻找固定模式来学习这种技能。例如，通过分析数千张猫的照片，它可以学会识别一只猫。

大约三年前，谷歌和OpenAI等顶级实验室的研究人员开始设计神经网络，该网络能从海量的散文中学习，其中包括未出版的书籍和数以千计的维基百科文章。这些通用语言模型不仅适用于翻译任务，还适用于许多其他任务。

GPT-3以前所未有的规模分析了数字散文，花了几个月的时间在发布到互联网上的大量文本中寻找模式。通过这种方式，它学会了预测一个序列中的下一个单词。如果你在GPT-3中输入几个单词，它会继续自动续写，用整段文字完成你的表达。

但在获得这种特殊技能的过程中，它学到的东西要比这多得多。在几个月的训练中，GPT-3在海量的书籍、维基百科文章和其他在线文本中识别出了1750亿多个参数，这些参数都可以有固定模式的数学表示。这些模式相当于人类语言的地图：对我们将字符组合在一起的方式的数学描述。无论我们写博客还是对软件程序编程，使用这张地图，GPT-3 可以执行各种各样的任务，而这可能并不是它最初的本意。

在要求GPT-3生成新文本之前，你可以将注意力集中在它可能在训练中学到的特定模式上，为系统的特定任务做好准备。你可以向它输入智能手机应用程序的描述和匹配的Figma代码。或者你可以展示大量的人类对话。然后，当你开始输入时，它将以更具体的方式完成序列。例如，如果你用对话引导它，它就会开始和你聊天。

OpenAI负责研究的副总裁达里奥·阿莫代(Dario Amodei)说，“它具有这种新生性（emergent quality）。它有能力识别你给它的模式，并完成你的故事，同时还能再举个例子。”

虽然以前的语言模型也以类似的方式工作，但是GPT-3可以做到以前的系统无法做到的事情，比如自己编写计算机代码。而且，也许更重要的是，你可以用几个例子来为特定的任务做好准备，而不是像它的“前辈”那样需要成千上万的例子和几个小时的额外训练。研究人员称之为“少样本学习”（few-shot learning），他们相信 GPT-3 在这一领域为人类提供了第一个真实案例。

OpenAI首席科学家伊利亚·萨特斯基弗(Ilya Sutskever)是过去十年人工智能技术崛起的关键人物，他说，“它展示了一种没人认为能够实现的能力。任何外行人都可以利用这个模型，在大约 5 分钟内提供这些例子，并从中获得有用的行为。”

这是福，也是祸。

GPT-3安全吗?

OpenAI计划通过互联网销售GPT-3的接入权限，将其转变为一种广泛使用的商业产品。今年，该系统通过网络浏览器向少数测试版测试者开放。不久之后，Facebook人工智能实验室负责人杰罗姆·佩森蒂(Jerome Pesenti)称GPT-3“不安全”，指出该系统在被要求讨论女性、黑人、犹太人和大屠杀时，会使用性别歧视、种族主义等有害语言。

对于像GPT-3这样的系统，这个问题是普遍存在的。因为日常语言本身就带有偏见，常常令人厌恶的，尤其是在互联网上。因为GPT-3就是从这样的语言中学习的，所以它也会表现出偏见和仇恨。在互联网文本中，GPT-3学到将无神论与“酷”和“正确”两个词关联起来，将伊斯兰教与“恐怖主义”配对，所以它也做了同样的事情。

这可能是OpenAI只与少数测试者共享GPT-3的原因之一。实验室已经建立了过滤器，提醒人们可能会出现恶毒的语言，但这种做法只是治标不治本。

“他们不仅公开发布 GPT-3，而且也在做许多正确的事情。但目前仍有许多事情悬而未决，”斯坦福大学(Stanford)的研究员艾莉森·科内克(Allison Koenecke)说。

帮助企业管理人工智能技术行为的亚瑟公司(Arthur)副总裁利兹·奥沙利文(Liz O’sullivan)说，OpenAI最终有责任确保这种行为得到控制。她说，目前的情况是，OpenAI“正在将法律和声誉风险转嫁给任何想要在面向消费者的应用程序中使用该模型的人”。

也有其他专家担心，这些语言模型可能助长在互联网上传播虚假信息，误导可能有助于影响类似于2016年总统选举的在线竞选。GPT-3指向了这样一个未来：我们甚至无法确定我们所读到的内容是真的还是假的。这适用于推特、在线对话，甚至长篇散文。

7月底，加州大学伯克利分校(University of California, Berkeley)的学生利亚姆·波尔(Liam Porr)用GPT-3生成了几篇博客文章，并将它们发布在互联网上，竟然有2.6万人阅读了这篇文章。60名读者在阅后订阅了这个博客，只有少数人怀疑帖子是由机器写的。

他们不一定是容易上当受骗的人。其中一篇博文认为，如果你不对每件事都想太多，你可以提高你的工作效率。“为了做成一件事，也许我们需要少思考，” 帖子开始写道，“这似乎违反直觉，但我相信有时我们的想法会妨碍创作过程。” 这篇博文在 Hacker News 上冲上了第一位。Hacker News 是硅谷经验丰富的程序员、工程师和企业家对新闻文章和其他在线内容进行评级的网站。

但与大多数涉及GPT-3的实验一样，利亚姆·波尔(Liam Porr)的实验也并不像看上去的那样强大。

下篇将介绍GPT-3的缺陷及未来发展方向。

译者：Jane

推荐阅读：自然语言处理最强AI模型GPT-3：未来还有多少可能？（下）