首页科技快讯自然语言处理最强 AI 模型 GPT-3：未来还有多少可能？（下）

自然语言处理最强 AI 模型 GPT-3：未来还有多少可能？（下）

来源：晰数塔互联网快讯时间：2020年12月22日 13:17

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：今年夏天，OpenAI推出了一个新的计算机系统，这个新系统名为 GPT-3。在自然语言处理方面，GPT-3展示出惊人的能力，它能写文章，做翻译，还能生成代码，甚至可以学习一个人的语言模式，并遵循这个模式与人进行谈话。但是，GPT-3也有一定的缺陷，未来还需逐步完善。本文是下篇，上篇主要介绍了GPT-3的功能和特性，下篇将介绍GPT-3的缺陷及未来发展方向。本文译自New York Times，作者Cade Metz，原标题为" My Name Is GPT-3 and I Approved This Article"，希望对您有所启发。

今年夏天，旧金山一家名为OpenAI的人工智能实验室公布了一项酝酿数月的技术，即名为GPT-3的新系统。这个系统通过分析数千本电子书、维基百科(Wikipedia)中的文字，以及贴在博客、社交媒体和互联网上的近1万亿单词，来学习自然语言的细节之处。

GPT-3无人察觉的缺陷

在20世纪60年代中期，麻省理工学院(Massachusetts Institute of Technology)的研究员约瑟夫·魏森鲍姆(Joseph Weizenbaum)建造了一种他称之为ELIZA的自动化心理治疗师。从2020年的角度来看，这个聊天机器人非常简单。

与GPT-3不同，ELIZA并没有从散文中学习。它是根据设计者定义的一些基本规则运行的。它基本上是在重复你对它说的话，只是以问句的形式。但更让魏森鲍姆吃惊的是，许多人把机器人当作人类一样对待，毫无保留地提出他们的问题，并从机器的回应中获得了安慰。

当狗和其他动物表现出一点点类似人类的行为时，我们倾向于认为它们在模仿我们，而不是它们真正的行为。机器也是如此，科林·艾伦(Colin Allen)是匹兹堡大学(University of Pittsburgh)研究动物和机器的认知技能的教授，他说：“人们被吸进去了，”他说，“即使他们知道自己被吸进去了。”

这就是GPT-3的一部分。因为它可以生成令人信服的推文、博客文章和计算机代码，因此我们把人性解读到这个数字系统中，而不那么关注它的局限性。

实际上在实践中，系统失败的次数和成功的次数差不多。我们忽略了它编写的计算机代码需要人类程序员进行一些微调——这里删除一行，那里添加一行。我们没有注意到，在几次交流之后，它的对话天赋就会失效，因为它无法 “记住” 几秒前说的话。我们也没有完全意识到，虽然这个系统为利亚姆·波尔(Liam Porr)生成了一篇令人信服的博客文章，但是是波尔拟定的标题、配图和前几句话，并删除了一些不太令人信服的句子。

波尔认为，GPT-3在短期内不会对打击虚假信息的战斗造成巨大威胁，因为它仍然需要人类的大量帮助。像这样的工具只有在完全靠它自己能够产生大量令人信服的虚假信息的情况下，才会变得真正危险，而这些虚假信息的数量远远超过当今雇佣一个团队能够完成的数量。

同样，当应用程序设计师问 Singer 关于GPT-3是否对其职业生涯构成威胁时，他向他们保证，至少现在还没有。他认为这是让他们的工作更轻松的一种方式。他说：“如果GPT-3能实现70%的目标，那就意味着省去了许多繁琐的工作。”

我们不知道的是，在未来的几个月和几年里，这项技术将会有多少改进。

更智能、更快，也更贵

当OpenAI的研究人员用发布在互联网上的超过1万亿字对GPT-3进行训练时，他们进行了第二个实验，用数万张数码照片对一个类似的系统进行训练。该系统可以分析所有这些照片，并学习如何构建图像，就像GPT-3构建段落一样。给定一张猫的照片的一半，它可以生成猫的其余部分。

一些研究人员认为，这个实验表明，这样的系统最终可以像人类一样，同时处理语言、视觉、声音等跨越多个维度的任务。他们说，即使只训练语言，这个系统也已经可以进入其他领域，无论是计算机编程、下棋还是制作吉他标签。

但是，继续改进这项技术并不是一件小事。处理所有这些互联网数据需要一台专门的超级计算机连续运行数月，这是一项极其昂贵的任务。当被问及这样一个项目是否耗资数百万美元时，OpenAI的首席执行官萨姆·奥特曼(Sam Altman)表示，成本实际上“更高”，可能会达到数千万美元。

OpenAI负责研究的副总裁Amodei说，这项技术仍有改进的空间，需要使用更强大的处理能力来分析更多的数据。但他也表示，这种方法的“动力”可能即将耗尽。

但至少，GPT-3对于人工智能研究人员和企业家来说是一种新工具，一种构建各种新技术和新产品的方式。计算机程序员瑞格利(Wrigley)最近辞去了他的日常工作，创办了一家名为LearnFromAnyone的公司，旨在利用GPT-3 构建一种自动化导师，它可以伪装成从科学家道格拉斯·霍夫斯塔德(Douglas Hofstadter)到风险投资家彼得·蒂尔(Peter Thiel)等所有人的样子。还有一些初创公司则致力于为计算机程序员自动生成代码，为营销专业人士自动编写促销邮件和推特等。

但目前还不清楚这些服务最终的效果如何。如果GPT-3只有一半的时间能生成正确的文本，它能满足专业人士吗？目前还不清楚这项技术能否成为真正的对话机器，更不用说真正的智能系统了。Amodei说，在通往能够模仿人类大脑的漫长道路上，如果想要取得更多进展，需要全新的想法。“这有点像化学反应，”他说，“我们有一种原料，但还需要其他成分。”

译者：Jane

推荐阅读：自然语言处理最强AI模型GPT-3：未来还有多少可能？（上）