MIT万字报道：竞争压力裹挟下的OpenAI，理想如何安置？

编者按：本文来自微信公众号“图灵TOPIA”（ID:turingtopia），作者：Karen Hao，36氪经授权发布。

作者 | Karen Hao

编译 | 刘静、安然

当地时间周一特斯拉和SpaceX首席执行官、硅谷明星创始人埃隆·马斯克（Elon Musk）在Twitter上表示：“所有开发先进人工智能的机构都应该受到监管，包括特斯拉。”

据悉，马斯克是在回应MIT一份关于OpenAI的深度报道时发表的上述言论。

而这篇报道是麻省理工科技评论的记者Karen Hao 前后花了六个月的时间，做了36次采访后成文的，力求揭露出了OpenAI的真实面貌。

Karen 发现 OpenAI似乎放弃了其先前的开放性和透明性承诺；换句话说，竞争的压力正在侵蚀“理想主义”。

针对这篇报道，北邮陈光老师、知名博主@爱可可爱生活 表示：看完剖析OpenAI那篇文章，对这几句话有了更深的理解——相比初衷，是否有持续正确的激励，真正决定了实验室将走向何方、能走多远。

以下是MIT的报道全文：

每年，OpenAI的员工都会投票决定他们认为通用人工智能(AGI)何时会最终到来。这通常被视为一种有趣的联系方式，他们的估计会相差很大。但在一个仍在争论类人自主系统是否可能的领域，一半的实验室认为它可能在15年内实现。

在OpenAI成立的短短四年里，它已经成为世界领先的人工智能研究实验室之一。与Alphabet的DeepMind等其他重量级人工智能公司一样，它也因不断进行引人注目的研究而出名。它也是硅谷的宠儿，创始人包括埃隆•马斯克(Elon Musk)和传奇投资家萨姆•阿尔特曼(Sam Altman)。

最重要的是，它因其使命而受到崇拜。它的目标是第一个创造出具有人类思维学习和推理能力的AGI机器。其目的不是统治世界;相反，该实验室希望确保该技术的安全开发，并将其利益平均分配给全世界。

言外之意是，如果让技术的发展走阻力最小的道路，AGI可能很容易失控。如今笨拙的人工智能(AI)——狭义智能(Narrow intelligence)的发展现状，就是一个例子。我们现在知道，算法是有偏见和脆弱的;他们可以犯下严重的虐待和欺骗;而开发和运行它们的成本往往会使它们的权力集中在少数人手中。根据推断，如果没有仁慈的“牧羊人“的细心指导，AGI可能是灾难性的。

OpenAI想要成为这样的牧羊人，它精心打造了自己的形象以符合要求。在一个由富有的公司主导的领域，它作为一个非营利组织成立。该公司的第一份声明称，这种区别将使其能够“为所有人而非股东创造价值”。

它的所谓《宪章》是一份神圣的文件，员工的工资与他们是否遵守章程紧密相连，它进一步宣称OpenAI的“主要信托责任是对人类的。”安全获得AGI是如此重要，它继续表示，如果另一个组织接近第一个获得AGI, OpenAI将停止与之竞争，取而代之的是合作。这种诱人的叙述很受投资者和媒体的欢迎，今年7月，微软向实验室投资了10亿美元。

但在OpenAI的办公室呆了三天，以及对过去和现在的员工、合作者、朋友和该领域的其他专家进行了近36次采访后，我发现现实情况有所不同。

该公司公开支持的内容与它在幕后的运作方式之间存在偏差。随着时间的推移，它让激烈的竞争和越来越大的资金压力侵蚀了其透明、开放和合作的基本理念。这次采访中许多在该公司工作或工作的人坚持匿名，因为他们没有得到发言的授权，或者担心遭到报复。他们的描述表明，OpenAI尽管有着崇高的抱负，但却执迷于保守秘密、保护自身形象和保持员工的忠诚。

从最早的概念开始，人工智能作为一个领域就一直在努力理解类人智能，然后重新创造它。1950年，著名的英国数学家和计算机科学家艾伦·图灵(Alan Turing)发表了一篇论文，题为《机器会思考吗?》六年后，一群科学家被这个烦人的想法所吸引，聚集在达特茅斯学院(Dartmouth College)，将这门学科正式化。

“这是思想史上最基本的问题之一，对吧?“艾伦人工智能研究所(AI2)是一家位于西雅图的非营利性人工智能研究实验室，其首席执行官Oren Etzioni说，“这就像，我们知道宇宙的起源吗?我们了解物质吗?”

问题是，AGI总是含糊不清。没有人能够真正描述它可能是什么样子，或者它应该做什么。例如，通用智能只有一种，这一点并不明显;人类的智力可能只是一个子集。对于AGI的用途，也有不同的看法。在更浪漫化的观点中，一个不受睡眠需求或人类交流效率低下影响的机器智能可以帮助解决复杂的挑战，如气候变化、贫困和饥饿。

但该领域的共识是，这种先进的能力将需要几十年，甚至几百年——如果真的有可能开发它们的话。许多人还担心，过分追求这一目标可能适得其反。在20世纪70年代和80年代末90年代初，这一领域的承诺太多，实现得太少。一夜之间，资金枯竭，给整整一代研究人员留下了深深的伤痕。OpenAI所属的行业组织人工智能伙伴关系(Partnership on AI)的研究主管彼得•埃克斯利(Peter Eckersley)表示:“这个领域感觉就像一潭死水。”

在这样的背景下，OpenAI于2015年12月11日以一种极为轰动的姿态进入了人们的视野。它并不是第一个公开宣称正在追求AGI的公司;DeepMind早在5年前就这么做了，并于2014年被谷歌收购。但OpenAI似乎有所不同。首先，它的标价令人震惊:这项投资将从私人投资者（包括马斯克、Altman和贝宝联合创始人彼得•蒂尔）的10亿美元开始。

众星云集的投资者名单，以及令人印象深刻的初始员工名单，引发了媒体的疯狂报道:曾为支付公司Stripe负责技术业务的格雷格•布罗克曼(Greg Brockman)将出任首席技术官;曾曾在人工智能先锋杰弗里·辛顿（Geoffrey Hinton）手下学习的伊利亚·萨茨克弗（Ilya Sutskever）将担任研究总监；七名研究人员，刚从顶尖大学毕业或从其他公司毕业的员工将组成核心技术团队。去年2月，马斯克宣布，由于在公司发展方向上存在分歧，他将与公司分道扬镳。一个月后，Altman辞去了主席一职。

但最重要的是，OpenAI发表了非营利声明。声明称:“拥有一家领先的研究机构将是非常重要的，它可以优先考虑好的结果，而不是自己的私利。”“我们将强烈鼓励研究人员发表他们的研究成果，无论是论文、博客帖子还是代码，我们的专利(如果有的话)将与全世界共享。尽管它从未明确提出批评，但其中的含义很清楚:DeepMind等其他实验室无法为人类服务，因为它们受到商业利益的限制，OpenAI却很“open“。

在一个越来越私有化、专注于短期财务收益的研究领域，OpenAI提供了一种新的方式来资助在最大问题上取得进展。“这是一个希望的灯塔，”机器学习专家Chip Huyen说，他密切关注着实验室的发展历程。

在旧金山第18街和福尔松街的交叉口，OpenAI的办公室看起来就像一个神秘的仓库。这座历史悠久的建筑有着灰褐色的镶板和彩色的窗户，大部分窗帘都被拉下了。PIONEER BUILDING（先锋大厦）——昔日的所有者先锋卡车工厂的遗迹——在街角处用褪了色的红漆包裹着。

室内空间光线充足，通风良好。一楼有几个公共空间和两个会议室。一种是适合大型会议的合适尺寸，叫做A Space Odyssey“太空漫游“;另一个，更像是一个美化了的电话亭，叫做 Infinite Jest“无尽的玩笑”。这是我在采访期间被限制活动的地方。我被禁止参观二楼和三楼，那里摆放着每个人的桌子、几个机器人，以及几乎所有有趣的东西。到了面试时间，人们会来找我。一名员工在会议间隙对我进行监督。

在我去见Brockman的那个晴朗的蓝天上，他看上去既紧张又警惕。他试探性地笑着说:“我们以前从来没有给过别人这么多的机会。”他穿着休闲服装，像OpenAI的许多人一样，留着一个不成形的发型，似乎反映了一种高效、朴实的心态。

31岁的Brockman在北达科他州的一个农场长大，他的童年是“专注、安静的”。他挤牛奶，收集鸡蛋，在自学时爱上了数学。2008年，他进入哈佛大学(Harvard)，打算主修数学和计算机科学双学位，但他很快就对进入现实世界感到不安。一年后他退学了，一年后又回到了麻省理工学院，几个月后又退学了。第二次，他做出了最后的决定。他一搬到旧金山，就再也没有回头。

Brockman带我去吃午饭，让我在公司全体会议期间离开办公室。在街对面的咖啡馆里，他以强烈、真诚和惊奇的口吻谈论OpenAI，常常将其使命与科学史上具有里程碑意义的成就相提并论。我其实很容易欣赏他作为领袖的魅力。在讲述他读过的书中值得纪念的段落时，他专注于硅谷中最受欢迎的故事，美国的登月竞赛。（“我真正喜欢的一个故事是看门人的故事，”他说，引用了一个著名但可能是虚构的故事。肯尼迪走到他跟前问他：“你在干什么？”？他说，“哦，我在帮一个人登上月球！还有横贯大陆的铁路（“这实际上是最后一个完全由手工完成的大型项目……一个规模巨大、风险极大的项目”）和托马斯·爱迪生的白炽灯泡（“一个杰出的专家委员会说‘这永远行不通’，一年后他就发货了”）。

Greg Brockman, co-founder and CTO.

Brockma意识到了OpenAI所进行的赌博——也意识到它会招致冷嘲热讽和审查。但他的观点很清楚:人们可以随心所欲地怀疑。这是勇敢的代价。

那些早期加入OpenAI的人还记得它的活力、兴奋和使命感。这个团队规模很小，通过紧密的网络连接而成，管理层则保持松散和非正式。每个人都相信扁平化的结构，在这种结构中，任何人的想法和辩论都是受欢迎的。

马斯克在建立一个集体神话中起了不小的作用。“他给我的方式是‘看，我明白了。AGI可能离我们很远，但如果不是呢?’”加州大学伯克利分校(UC Berkeley)教授彼得·阿贝尔(Pieter Abbeel)回忆道。“‘如果在未来5到10年里发生这种事的概率只有1%或0.1%，那又会怎样呢?’”我们不应该仔细考虑一下吗?’这让我产生了共鸣，”他说。

但非正式性也导致了方向的模糊。2016年5月，Altman和Brockman接待了时任谷歌研究员的达里奥·阿莫德(Dario Amodei)，后者告诉他们，没人知道他们在做什么。在《纽约客》(the New Yorker)发表的一篇报道中，尚不清楚这个团队本身是否知情。Brockman说:“我们现在的目标是……尽我们所能做到最好。”“有点模糊。”

尽管如此，Amodei还是在几个月后加入了这个团队。他的姐姐Daniela Amodei之前曾与Brockman一起工作，他已经认识OpenAI的许多成员。两年后，在Brockman的要求下，Daniela也加入了。“想象一下——我们从一无所有开始，”Brockma说。“我们只是抱着这个理想，希望AGI能够顺利发展。”

在整个午餐过程中， Brockman像背诵经文一样背诵公司的所谓《宪章》（charter），解释公司存在的方方面面。

到2017年3月，也就是15个月后，领导层意识到是时候更加关注AGI了。因此，Brockman和其他几个核心成员开始起草一份内部文件，以规划通往AGI的道路。但这个过程很快暴露了一个致命的缺陷。当这个团队研究这个领域的趋势时，他们意识到在经济上维持一个非营利组织是站不住脚的。该领域的其他人用于取得突破性成果的计算资源每3.4个月翻一番。Brockman说，很明显，“为了保持相关性”，他们需要足够的资本来匹配或超过这种指数级增长。这就需要一种新的组织模式，能够迅速筹集资金，同时又能以某种方式忠于使命。

公众和大多数员工都不知道的是，OpenAI正是基于这一点在2018年4月发布了它的《宪章》。该文件重新阐述了实验室的核心价值观，但微妙地改变了语言，以反映新的现实。除了承诺“避免人工智能或AGI的使用会伤害人类或过度集中权力”，它还强调了对资源的需求。“我们预计需要调动大量资源来完成我们的使命，”它表示，“但我们将始终努力采取行动，将可能损害广泛利益的员工和利益相关者之间的利益冲突最小化。”

Brockman说:“我们花了很长时间与员工进行内部沟通，让整个公司都接受一套原则。”即使我们改变结构，它们也必须保持不变。”

From left to right: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (technical staff member), Greg Brockman, Alec Radford (technical language team lead), Christine Payne (technical staff member), Ilya Sutskever, and Chris Berner (head of infrastructure).

这种结构变化发生在2019年3月。OpenAI通过设立一个“利润上限”来摆脱其非营利性的地位——一个对投资者回报有100倍限制的营利性机构。不久之后，它宣布了微软的10亿美元投资(尽管它没有透露这笔钱被分配给了微软的云计算平台Azure)。

不出所料，此举引发了一波指责，称OpenAI违背了自己的使命。消息公布后不久，黑客新闻(Hacker News)上的一篇帖子中，一名用户问道，100倍的上限到底有多大限制?“谷歌的早期投资者获得了大约20倍的资本回报率，”他们写道。“你的押注是，你将拥有一个回报率超过谷歌数量级的公司结构……但你不想“过度集中权力”吗?这将如何工作?如果不是资源的集中，权力到底是什么?”

此举也让许多员工感到不安，他们表达了类似的担忧。为了平息内部动荡，领导层起草了一份常见问题解答，作为一系列受到高度保护的过渡文件的一部分。“我能信任OpenAI吗?”一个问题问道。“是的，”回答开始了，接着是一段解释。

《宪章》是OpenAI的支柱。它是实验室所有战略和行动的出发点。在整个午餐过程中，Brockma像背诵圣 经一样背诵着这句话，它解释了公司存在的方方面面。(“顺便说一句，”他在一次背诵课上解释了一半，“我想我知道所有这些行，因为我花了很多时间仔细研究它们，以确保它们完全正确。我又不是在开会前看的。”)

当你发展出更高级的能力时，你将如何确保人类继续过有意义的生活?“正如我们所写的，我们认为它的影响应该是给予每个人经济自由，让他们找到今天无法想象的新机会。“你将如何组织自己来均匀地分配AGI?”“我认为公用事业是对我们愿景最好的类比。但是，这一切都取决于《宪章》。“你如何在不牺牲安全的前提下抢先到达AGI?”“我认为这绝对是一个重要的平衡行动，而我们在这方面的最佳尝试就是《宪章》所规定的。”

对于Brockman来说，严格遵守文档是OpenAI的结构能够工作的原因。公司内部的协调一致是最重要的:所有的全职员工都必须在同一个办公室工作，很少有例外。对于政策团队，尤其是主任杰克·克拉克(Jack Clark)来说，这意味着他的生活将在旧金山和华盛顿特区之间展开。克拉克不介意——事实上，他同意这种心态。他说，正是在与同事共进午餐的这段时间里，大家才能保持一致。

在很多方面，这种方法显然是有效的:该公司有着令人印象深刻的统一文化。员工工作时间长，通过吃饭和社交时间不停地谈论自己的工作;许多人参加同样的聚会，信奉“有效的利他主义”的理性哲学。他们用机器学习的术语来描述他们的生活:“你的生活是关于什么的?”“你在优化什么?”“所有东西基本上都是一个最小值函数。”公平地说，其他人工智能研究人员也喜欢这样做，但熟悉OpenAI的人也同意:与该领域的其他人相比，OpenAI的员工更愿意把人工智能研究当作一种身份，而不是一份工作。(去年11月，Brockman和交往了一年的女友安娜(Anna)在办公室举行了婚礼，背景是用OpenAI标识排列的鲜花。萨茨基弗担任司仪;拿戒指的是一只机械手。)

但在去年年中的某个时候，该《宪章》不仅仅成为午餐时间的谈资。在转向上限利润后不久，领导层制定了新的薪酬结构，部分基于每位员工对使命的承担。在名为“统一技术阶梯”的电子表格标签中，除了“工程专业”和“研究方向”等栏目外，最后一栏概述了每个级别的与文化相关的期望。第3级:“你理解并内化OpenAI宪章。第5级:“确保你和你的团队成员所做的所有项目都符合章程。”第7级:“你的职责是维护和完善《宪章》，并让本组织的其他人负责。”

大多数人第一次听说OpenAI是在2019年2月14日。那天，实验室宣布了一项令人印象深刻的新研究:一种只需按下按钮就能产生令人信服的论文和文章的模型：GPT-2。输入《指环王》里的一句话，或者麦莉·赛勒斯(Miley Cyrus)入店行窃的(假)新闻故事的开头，它就会以同样的方式一段一段地吐出文字。

但也有一个问题:研究人员说，这个被称为GPT-2的模型太危险了，不能发布。如果这种强大的技术落入坏人之手，它很容易被武器化，制造大规模的虚假信息。

科学家们立即对此表示强烈反对。一些人说，OpenAI是在搞宣传噱头。GPT-2还不够先进，不足以构成威胁。如果是，为什么要宣布它的存在，然后排除公众监督?罗格斯大学(Rutgers University)研究人工智能产生的虚假信息的助理教授布里特•帕里斯(Britt Paris)表示:“OpenAI似乎试图利用人们对人工智能的恐慌。”

Jack Clark, policy director.

到今年5月，OpenAI宣布了“分阶段发布”的计划。在接下来的几个月里，它陆续推出了越来越强大的GPT-2版本。在此期间，它还与几个研究组织进行了接触，以审查算法的滥用潜力并制定对策。最后，它在11月发布了完整的代码，并表示“到目前为止还没有滥用的有力证据”。

在持续不断的宣传指责中，OpenAI坚称GPT-2不是噱头。相反，这是一个经过深思熟虑的实验，是在一系列内部讨论和辩论后达成的。当时的共识是，即使这次的行动有点过火，但它将为处理更危险的研究树立一个先例。此外，该《宪章》还预测，“安全与安全问题”将逐渐迫使实验室“在未来减少我们的传统发布方式”。

这也是政策团队在其6个月的后续博客文章中精心阐述的观点，他们在我参加会议时进行了讨论。“我认为这绝对是成功故事框架的一部分，”政策研究科学家迈尔斯·布伦戴奇(Miles Brundage)说。“这部分的领导应该是:我们做了一件雄心勃勃的事情，现在有些人正在复制它，这里有一些为什么它是有益的原因。”

但OpenAI与GPT-2的媒体宣传活动也遵循了一种成熟的模式，这让更广泛的AI社区产生了怀疑。多年来，该实验室引人注目的大型研究成果不断被指责助长了人工智能的炒作周期。批评者不止一次地指责该实验室夸大实验结果，达到了歪曲事实的地步。基于这些原因，许多业内人士倾向于与OpenAI保持距离。

Cover images of OpenAI's research releases hang on its office wall.

这并没有阻止该实验室继续为其公众形象投入资源。代替论文，它在公司的高质量的博客文章中发布它的结果。它做所有的内部工作，从写作到多媒体制作再到每次发行的封面图片设计。它还一度开始为自己的一个项目制作纪录片，与DeepMind的一部90分钟的关于AlphaGo的电影相媲美。Brockman和他的妻子安娜(Anna)现在正在为这部影片提供部分资金。(我也同意在纪录片中为OpenAI的成就提供技术解释和背景。)

随着负面效果的增加，公司内部也在讨论如何解决这个问题。员工们对外界不断的批评感到沮丧，领导层担心这将削弱实验室的影响力和雇佣最优秀人才的能力。一份内部文件强调了这个问题，并提出了一项应对策略:“为了获得政府层面的政策影响力，我们需要被视为ML(机器学习)研究和AGI最可信的来源，”“政策”部分下面的一行写道。“来自研究领域的广泛支持和支持不仅是获得这样的声誉所必需的，而且将放大我们的信息。”“战略”下的另一条是，“明确地将ML社区视为comms的利益相关者。”改变我们的语气和外部信息，这样我们只有在有意选择的时候才会与他们对立。”

GPT-2引发如此激烈的反弹还有另一个原因。人们觉得OpenAI再一次违背了它早先的开放和透明的承诺。一个月后，营利性机构转型的消息传出后，这项被搁置的研究让人们更加怀疑。会不会是这项技术一直处于保密状态，为将来获得专利做准备呢?

Ilya Sutskever, co-founder and chief scientist.

但是很少有人知道这不是OpenAI唯一一次选择隐藏它的研究。事实上，它还对另一项努力完全保密。

关于实现AGI需要什么，有两种流行的技术理论。第一，所有必要的技术都已经存在;这只是一个计算出如何缩放和组装它们的问题。另一方面，需要一个全新的范式;目前人工智能的主导技术——深度学习还不够。

大多数研究人员都介于这两个极端之间，但OpenAI一直以来几乎只在规模和组合方面占优势。它的大部分突破都是将大量计算资源投入到其他实验室开发的技术创新中的产物。

Brockman和Sutskever否认这是他们唯一的策略，但实验室严密保护的研究表明并非如此。一个名为“前瞻”(Foresight)的团队进行了一些实验，以测试他们能在多大程度上推动人工智能能力的发展，方法是训练现有的算法，使用越来越多的数据和计算能力。对于领导层来说，这些实验的结果证实了他们的直觉，即实验室的全投入、计算驱动的策略是最好的方法。

在大约六个月的时间里，这些结果都没有向公众公布，因为OpenAI将这些知识视为自己的主要竞争优势。员工和实习生被明确告知不要透露这些信息，而离开的员工则签署了保密协议。直到今年1月，这个团队才不动声色地在人工智能研究的一个主要开源数据库上发表了一篇论文。那些经历过保密工作的人不知道该如何应对这种变化。值得注意的是，另一篇来自不同研究人员的类似结果的论文已于一个月前发表。

这种保密性从一开始就不是有意的，但是从那以后它就变成了一种习惯。

随着时间的流逝，领导层已经偏离了最初的信念，即开放是建立有益的AGI的最佳方式。现在，实验室工作的人都对保持沉默的重要性印象深刻。这包括未经传播团队的明确许可，绝不对记者讲话。初次访问办公室后，当我开始联系不同的员工时，我收到了沟通负责人的电子邮件，提醒我所有面试要求都必须经过她。当我拒绝时，她指示员工随时向她汇报我的工作。

OpenAI的一名发言人在回应这一高度保密的声明中，提到了该公司宪章的一部分内容。“我们期望安全和安保方面的考虑将减少我们在未来的传统发布方式，”该部分指出，“增加共享安全、政策和标准研究的重要性。”该发言人还补充道:“我们的每一次发布都经过了一个信息危险过程的评估，我们希望放缓发布我们的成果，以了解潜在的风险和影响，然后再发布到外界。”

其中一个最大的秘密就是OpenAI正在进行的下一个项目。消息人士对我说，这是该公司此前4年的研究成：使用大量计算资源对图像、文本和其他数据进行训练的一个人工智能系统。最初的工作分配给了一个小团队，他们期望其他团队终能够参与进来。在公司全体会议上宣布的那天，实习生被禁止参加。熟悉该计划的人提供了一个解释：领导层认为这是达到AGI的最有希望的方式。

推动OpenAI战略的是达里奥•阿莫德(Dario Amodei)，他曾是谷歌(google)员工，现在担任研发总监。

在我看来，他给我的印象更像是焦虑版的Brockman。他也有同样的真诚和敏感，但却有一种不安的紧张情绪。他说话时显得很冷淡，眉头紧锁，一只手心不在焉地拨弄着他的卷发。

Amodei将实验室的策略分为两部分。他将第一部分比作投资者的“投资组合”，这一部分规定了该公司计划如何达到先进的人工智能能力。“OpenAI的不同团队正在进行不同的投资。例如，语言团队的投资来源是一个理论，该理论假设人工智能可以通过发展单纯的语言学习来做出对世界的理解。相比之下，机器人团队提出了一个相反的理论，即智能需要物理的载体来发展对世界的理解。

就像在投资者的投资组合中一样，并不是每一次投资都有同等的权重。但是出于科学严谨的目的，所有这些都应该在被抛弃之前进行测试。

Amodei以GPT-2为例，用它真实的自动生成文本来说明为什么保持开放的思想很重要。他说:“纯粹的语言是这个领域甚至我们中的一些人都会怀疑的方向。”“但现在人们会说，‘哇，这真的很有前途。’”

随着时间的推移，不同的投资赌注越押越高，它们将吸引更多的人做出努力。目标是拥有越来越少的团队，最终为AGI提供单一的技术指导。这正是OpenAI最新的绝密项目应该已经开始的过程。

Dario Amodei

战略的第二部分，Amodei解释说，集中在如何使这种不断发展的人工智能系统安全。这包括确保它们反映了人类的价值观，能够解释其决策背后的逻辑，能够在不伤害他人的情况下学习。致力于每一个安全目标的团队都试图开发出可以在项目成熟时跨项目应用的方法。例如，可解释性团队开发的技术可以用于揭示GPT-2句子结构或机器人动作背后的逻辑。

Amodei承认，这部分策略有点随意，较少建立在该领域的既定理论上，更多是建立在直觉上。他说：“在某个时候，我们将建立AGI，到那时，我想对这些在世界上运行的系统感到满意。”。“任何我目前感觉不好的地方，我都会创建和招募一个团队来专注于这件事。”

 对于所有的公众关注的安全问题，Amodei 说这话时显得很诚恳。失败的可能性似乎使他心烦意乱。

“我们处在一个尴尬的境地：我们不知道AGI长什么样，”他说。“我们不知道什么时候会发生。然后，他小心翼翼地补充道:“任何一个人的心智都是有限的。”我发现最好的办法是聘请其他安全研究人员，他们通常会有不同于我的视野。我想要那种变化和多样性，因为那是你捕捉一切的唯一方式。”

问题是，OpenAI实际上几乎没有“变化和多样性”——这是我在办公室的第三天反复强调的一个事实。在一次午餐中，我被允许与员工们打成一片，我在一张最显眼的桌子旁坐下。不到一分钟后，我意识到在那里吃饭的人实际上不是OpenAI的员工。马斯克的初创公司Neuralink与其共享同一栋建筑和餐厅。

实验室的一位发言人说，在120多名员工中，25%是女性或非女性。她说，执行团队中还有两名女性，领导团队中有30%是女性，不过她没有具体说明这些团队中有哪些人。

公平地说，这种缺乏多样性的情况在AI中很典型。去年，总部位于纽约的人工智能研究所（AI）的一份报告发现，在领导人工智能会议的作者中，女性仅占18%，在人工智能教授中占20%，在Facebook和谷歌的研究人员中分别占15%和10%。OpenAI的发言人说：“学术界和工业界肯定还有很多工作要做。”。“多样性和包容性是我们认真对待的问题，我们正通过与WiML、Girl Geek和我们的学者计划等项目合作不断改进。”

事实上，OpenAI已经试图拓宽它的人才库。2018年，它启动了面向少数族裔的远程学者项目，但前八名学者中只有两名成为了全职员工。拒绝留下的最常见原因是：必须住在旧金山。罗德(Nadja Rhodes)曾是一名学者，现在是纽约一家公司的首席机器学习工程师。

如果说多样性是人工智能行业普遍存在的一个问题，那么对于一家将“技术平均分配给所有人”为使命的公司来说，多样性则是一种更具生存意义的问题。事实是，它缺乏最可能被排除在外的群体。

正如Brockman在引用其使命时经常提到的那样，OpenAI计划如何将AGI的“好处”分配给“全人类”，这一点也不清楚。领导层对此含糊其辞，几乎没有采取任何行动来充实具体细节。(今年1月，牛津大学人类未来研究所(Future of Humanity Institute at Oxford University)与该实验室合作发布了一份报告，提议通过分配一定比例的利润来分配福利。“这是我在OpenAI上遇到的最大问题，”一位不愿透露姓名的前雇员表示。

罗格斯大学(Rutgers)的布里特•帕里斯(Britt Paris)回应称:“他们正利用成熟的技术手段，试图用人工智能来解决社会问题。”“他们似乎并没有真正理解社交的能力。他们只是明白，这是一个有利可图的地方，可以让他们定位自己。”

Brockman认为，OpenAI要实现其使命，最终需要技术和社会专长。但他不同意从一开始就应该涉及这两方面。“你是如何将伦理道德或其他观点引入其中的?”你什么时候带他们来，怎么带?你可以采取的一种策略是，从一开始就尽可能地把你可能需要的东西都放进去，”他说。“我认为这种策略不太可能成功。”

他说，首先要弄清楚的是AGI到底是什么样子，只有到那时，我们才能确保理解其后果”。

去年夏天，在转向上限利润模式和微软注资10亿美元后的几周，公司领导层向员工保证，这些更新不会在功能上改变OpenAI的研究方法。微软与实验室的价值观非常一致，任何商业化的努力都将是遥遥无期的，解决基本问题仍然是这项工作的核心。

有一段时间，这些保证似乎是正确的，项目继续进行。许多员工甚至不知道微软向他们做出了什么承诺。

但近几个月来，商业化的压力有所加剧，赚钱的研究不再像是遥远未来的事情。在私下与员工分享他的2020年实验室愿景时，Altman传达的信息很明确:OpenAI需要赚钱来做研究，而不是反过来。

领导层表示，这是一种艰难但必要的权衡——因为缺乏富有的慈善捐赠者，他们不得不做出这种权衡。相比之下，总部位于西雅图、雄心勃勃地推进人工智能基础研究的非营利组织AI2，其资金来源是已故亿万富翁保罗•艾伦(Paul Allen)留下的自筹资金。

但事实是，OpenAI也面临这种取舍，不仅因为它不富裕，还因为它做出了战略选择—试图先于任何人接触AGI。这种压力迫使它做出的决定似乎越来越偏离其初衷。它急于吸引资金和人才，保护自己的研究以期保持优势，并追求一个计算能力强的战略——不是因为它被视为AGI的唯一出路，而是因为它看起来是最快的。

然而OpenAI仍然是一个人才和前沿研究的堡垒，充满了真诚地为人类利益而努力工作的人们。换句话说，它有最重要的要素，仍然有时间来改变。

在采访前远程学者罗兹(Rhodes)的最后，我问了她关于OpenAI的一件事，我不应该在这篇文章中忽略。“我想在我看来，这是有问题的，”她迟疑地开始说。“其中一些可能来自它所面临的环境；有些人来自它吸引的那类人；有些人则来自它忽略的那类人。”

“但对我来说，感觉他们做得有点对，”她说。“我有一种感觉，那里的人正在认真地做出努力。”

相关推荐

MIT万字报道：竞争压力裹挟下的OpenAI，理想如何安置？
OpenAI还是CloseAI？记者半年揭秘这个以拯救世界为使命的机构幕后真相
隐秘？混乱？商业化？探寻OpenAI“拯救世界”背后的真相
潮科技 | MIT开发水下压电传感器，兼具能量采集和“无线电”功能
揭秘获微软十亿美元投资的OpenAI：曾发起Dota人机大战
近亿级的AI数据集被下架，MIT道歉，因涉嫌种族歧视？
MIT搞机器学习种菜？不过是“韭菜”收割机罢了
洪灾压力下的鄱阳湖畔
再创融资纪录，微软给了OpenAI十亿美元，研发超能AI
秒杀Dota2世界冠军后，OpenAI公开摆擂碾压人类

网址: MIT万字报道：竞争压力裹挟下的OpenAI，理想如何安置？ http://www.xishuta.com/newsview17915.html