超级对齐vs有效加速：OpenAI高层大混战

没想到快到年底，OpenAI还能再以一己之力搅动行业格局。

在不同的叙述里，过去几周在OpenAI发生的一切是又一场硅谷商战，是“乔布斯”时刻的重演，是天才和商人之间的水火不容。

但这也是围绕人类目前最强的AI展开的路线之争，是可能决定人工智能发展走向、决定人类未来命运的逢魔时刻。

一条路线认为，我们应该毫不犹豫地把最聪明的脑袋和最充足的资金砸在AI上，无条件地加速技术创新，哪怕创新的结果要以彻底颠覆当今的社会秩序为代价——这个进程越快，我们的阵痛期就越短，就越能以最小的代价走向最好的未来。

而在另一条路线上，AI是一个能力强大但道德混沌的造物，它敌我难辨，可能统治人类，也可能大开杀戒，在弄清它到底是什么之前，我们最好还是把它关在盒子里。

在这篇文章里，我们将会回顾OpenAI高层的分裂，介绍这两条路线上的代表思想：“有效加速主义”和“超级对齐”，浅浅聊一聊人类和人工智能对线造成的最差的结果是什么。

（如果你从头到尾围观了OpenAI高层变动的始末，第一部分可以跳过。）

一、看这篇文章之前，你需要先知道的

11月17日，OpenAI发布声明，现任CEO、OpenAI的灵魂人物Sam Altman被董事会开除，而Altman本人半小时之前才得到通知。几小时后，OpenAI董事长、联合创始人Greg Brockman公开宣布，自己也已经辞职。

两个核心人物闪电离职，这家估值近900亿美元的AI明星公司的未来在一天之内变得晦暗难明，关于董事会分裂的阴谋论层出不穷。

接下来的一周，事态的发展再次出乎所有人意料：

OpenAI迫于种种压力重新和Altman谈判；

谈判破裂，拥有OpenAI 49%股份的微软宣布刚离职的Altman和Brockman将双双加入微软，领导新AI团队；

OpenAI员工集体反水，表示要跟两个离职的大核心一起去微软，其中包括刚上任的临时CEO Murati；

Altman宣布将重返OpenAI，并成立一个由微软为代表的新董事会。

Altman孜孜不倦地转发每个员工的请愿（其中也包括把他替换下来的临时CEO Mira Murati）｜@sama

这场乌烟瘴气的闹剧让OpenAI的支持者们心痛不已——代表着人类对通用人工智能最高理想和最高成就的公司，竟然用这种拉帮结派和背后算计的方式，如此轻易地在所有人都不知情的情况下闪电罢免了核心人物。

但通过这次Altman的去而复返，我们也看到，OpenAI高层的分裂已经难以调和，最终才以逼宫的形式显示出来。

二、Altman，去而复返

Altman被开除的原因至今成谜。董事会只是在公开信中提到，不再对Altman的领导能力有信心，Altman本人在近期接受采访时也依然拒绝透露相关细节。

围绕Altman去留的激辩，只是OpenAI分裂的外化。这种分裂并不会随着Altman的去而复返而弥合，而是会成为OpenAI在今后的发展中不断碰到的价值观之壁。

OpenAI的第一个分裂之处：坚持非盈利的董事会，和不断吸金的CEO。

OpenAI成立的初衷，可以说是极端理想化的。

2015年，Altman，马斯克，Ilya Sutskever，Greg Brockman和另外几位世界级的人工智能领域科学家一起创立了OpenAI，他们是最早发现人工智能潜力的一批人，也是最先意识到AI威胁的人。因此在成立之初，他们就想好了要成立一个“为每个人创造福祉而不是为股东盈利”的公司。

他们的目标是开发匹敌或超越人类智能的机器，也就是通用人工智能（AGI），并且保证它是安全的。

这也就是为什么——虽然听起来难以置信——市值将近900亿美元的OpenAI至今仍是一个非盈利组织。

“我们难以预测人类水准的人工智能何时到来，但当它到来时，我们需要一个中立的领导机构，这个机构需要把造福大众放在第一，把自己的利益放在第二……作为一个非盈利组织，我们将大力鼓励研究人员公开他们的工作，无论是论文、博文，还是代码，我们的专利将与全世界共享。”｜《介绍OpenAI》@OpenAI

之后是沉默的四年，OpenAI在沉默中烧掉了大量资金，经济压力也逐渐增加。

Altman曾担任硅谷传奇加速器Y Combinator的总裁，见过太多优秀的初创公司因为金融问题被老牌公司挤垮，2019年，Altman以CEO的身份加入OpenAI，成立了负责盈利的子公司Open Global。据《大西洋月刊》报道，目前Open Global的雇员数量已经占据OpenAI总人数的99%以上。

当时已经离开OpenAI的马斯克锐评，此举无异于把雨林保护组织变成伐木公司。

很明显，仅靠捐赠已经无法支持我们的计算能力和人才成本……因此我们设计了一种结构，既能保证非营利组织的核心使命、治理和监督，又能为我们筹集资金。｜《我们的公司架构》@OpenAI

子公司成立后，OpenAI从微软那里募集了超过110亿美元，直接促成了ChatGPT这样的面向大众用户的产品推出。在很多AI先驱眼里，这种局面是非常危险的，在追求利润、维持公司发展这条路上走得越快，OpenAI离一个中立的、安全的、谨慎的非盈利公司就越远。

第二个分裂之处：快速发展的AI技术，与无法预测的安全问题。

OpenAI的创始人之一、首席科学家Ilya Sutskever和Altman之间经常就AI的安全问题产生争执。Altman更像是商人，Ilya则有着漂亮的学术背景——他师从“深度学习之父”Geoffrey Hinton，而后者在今年春天刚刚从谷歌辞职，以便能更自由地向公众谈论AI的威胁。

有报道总结，Ilya和Altman之间最大的分歧在于，在继续前进之前应该在多大程度上理解自己正在创造的东西。Ilya认为，他的首要任务是解释AI的行为，并找到一种引导AI、让它们和我们的目标和价值观保持一致的方法，而Altman在面对安全和伦理问题时更为激进。

据Bussiness Insider报道，Ilya正是这次董事会罢免Altman背后的推动者。

Altman的激进也招致了其他核心员工的不满。2021年，曾领导了GPT-2和GPT-3开发、负责带领OpenAI安全团队的Dario Amodei辞职，带着GPT-2和GPT-3的核心作者们一起创立了另一家公司Anthropic，因为他担心OpenAI的发展过快，在安全性上得不到保证。

他们的担心并不是过度敏感，AGI的威胁可能近在眼前。路透社近期的一篇报道抖出了这场换人大戏的另一个内幕。 

据知情人士透露，在Altman被罢免前，有研究人员向董事会递交了一封信，提到了一项可能会对人类产生威胁的新项目，Q*（读作Q-Star）。一天后，Altman被董事会罢免。

报道称，Q*项目取得了重大进展，已经可以解决基本的数学问题。与只能解决有限数量运算的计算器不同，与每次都给同一道题不同答案的GPT-4不同，Q*可能已经有了概括、学习和理解的能力，而这正是迈向AGI关键的一步。

OpenAI至今没有正面回复关于Q*的传闻，如果Q*的存在是真的，我们显然还没为它的到来做好准备。

面对即将出现的AGI，产生了两派主流应对思想：分别是“超级对齐（Superalignment）”和“有效加速主义（Effective Accelerationism，e/acc）”。

三、超级对齐：保守派打造屠龙刀

Ilya很清楚，他们面对的是一个比人类聪明得多的智能体。“它就像一个18岁的孩子……需要引导和控制”，Ilya说，“超级智能的巨大力量可能非常危险，可能导致人类丧失权力，甚至导致人类灭绝。”

今年七月，Ilya带头在OpenAI内部发起了一个名叫“超级对齐”的项目，要拿OpenAI至少20%的算力，在接下来四年内解决这个问题（当然，这只是希望，Ilya自己也不知道能不能成功）。

“超级对齐”到底是什么互联网黑话，稍微解释一下。

在AI领域里，意图和结果的偏差被称为“对齐问题（The Alignment Problem）”，“对齐”可以简单理解为让人工智能系统与人类价值观保持一致。

一个没有对齐的AI，可能会造成巨大的风险。前两年有一个知名的“吃羊AI自杀事件”，事主训练了一个抓羊AI，目标是得更多的分，但设置的条件太苛刻，扣分简单得分难，训练20万次之后AI发现直接自杀是最好的办法，于是纷纷自杀。

AI自杀始末｜耳洞打三金

虽然抓羊游戏是假的，但在各个领域走捷径达成目标的AI是真的。如果这样的AI出现在自动驾驶或者安全领域，人类早已输掉了这场游戏。

这本质上是一个和《猴爪》、点金术一样瘆人的寓言故事：你得到了你想要的，但是达成目标的方式出了大问题。在猴爪的故事里，老太太向猴爪许愿想要200英镑，次日老头子出事故身亡，赔偿金正是200英镑。

如果没有对齐，AI可能酿成惨剧｜AI笑话大全（完整版）

对于保守派来说，对齐可以从两个方面下手：详细制订系统目的（外部对齐），和确保系统严格遵循人类价值规范（内部对齐）。

这看似是一种理性的方式，但人类的意图本身就模糊不清或者难以阐明，甚至“人类价值”也是多样的、变化的、甚至是彼此冲突的，即使AI完全理解了人类意图，它也可能会忽视人类意图（因为遵循人类意图可能不是它的目标）。

Ilya认为，可以训练另一个智能体来协助评估AI，从而实现超级对齐。目前OpenAI正在按这个思路开展工作，让我们期待他们的好消息。

Ilya是超级对齐代表人物的证据：

Ilya一直很关心人工智能的安全问题。2022年，他在自己的社交网站上发文称，“今天的大型神经网络可能具有轻微的意识。”

Ilya烧毁了一座象征人工智能的木质雕像，以表示OpenAI致力于以人类的最大利益为目标而创造人工智能。

Ilya急于解开AI黑箱，并且加以引导，他认为这是人类300万年工具使用史上的最大挑战，也是“人性的最终战（the final boss of humanity）”。

今年10月，Ilya接受采访时再次表示，他当下的首要任务不是构建一个新的GPT或是DALL-E， 而是找出方法阻止人工智能的失控。

Ilya认为10年内就会出现超级人工智能。

Ilya在推文中说，“如果你觉得聪明是人类最宝贵的美德，那你的日子不会好过”。

站在人类这边的是Ilya｜@ilya

四、有效加速主义——不惜一切地前进

“有效加速主义”听起来就刺激多了，也好理解多了。

有效加速主义者认为，人类目前面临的大多数问题，都能通过技术进步和不断增长来解决，通过控制增长和倒退来解决问题的先例在历史上几乎不存在。人类应该无条件地拥抱技术创新，这股力量是无法阻挡的。当“加速”造成问题时，我们不能减速，而是更快更有效地加速，把过渡期缩短。

哪怕这种进步可能会颠覆社会，长期来看也是对人类有利的，因为太空时代的1%比石器时代的500%要大得多。

对有效加速主义者来说，全力发展AI意味着目前人类遇到的各种困境：气候问题、资源分配问题、区域冲突、疾病大流行，都可能找到另外的解法。在这种巨大的好处面前，AI带来的威胁只是另一个我们会顺水推舟地解决的问题，就算AI有了意识，新的意识形态也只会让我们的感知更加多样化，这正是我们想要的。

第一版有效加速主义宣言节选

而Altman，虽然没有大张旗鼓地在自己的ID里带上有效加速主义者的标识，但他早就因为一系列言论和行为被有效加速主义者视为重要的一分子。

Altman是有效加速主义者的证据：

2023年2月， Altman在博客文章中提到了通用人工智能模型可能带来的安全问题，但他的结论依然是OpenAI应该持续发展。3月，多位AI领域的专家签署了呼吁暂停AI发展的联名信后，Altman再次表示同意信中提到的部分安全问题，但暂停研发并不是应对挑战的最佳方式。

Altman认为，限制OpenAI的发展对美国政府来说是愚蠢的，如果OpenAI的发展被政府的监管阻碍了，中国就可能一马当先，掌握控制全人类的力量。

Altman明确表示不知道AI会如何发展，但他要尽最快速度去建造（“I just have to build the thing”），这和有效加速主义者“Don’t be afraid， just build”的宣言几乎是一个意思。

Altman在接受采访时曾表示，无论AI的终局是什么，他对发布ChatGPT都未曾有过一秒钟的后悔。

五、和人工智能一起进化的未来

不管是超级对齐还是有效加速主义，他们都相信同一件事，那就是AGI将在有生之年诞生并颠覆我们的社会。

在Altman的描述中，AGI将会永远地改变现在社会的分配模式，在未来，算力会成为最有价值的商品，因为算力能驱动AI“做任何事情”。

如果有钱人买下所有的算力，那么AI就会按他们的意志来行动，穷人会更难翻身。Altman认为，解决这个问题的办法是，地球上的每个人每年都获得AI总算力的80亿分之一，他们可以用这80亿分之一的算力做自己想做的事，设计建造更豪华的家，或者把自己的算力交易出去。

曾经获得图灵奖，现任Meta首席人工智能科学家的Yann LeCun对未来的预测也比较乐观。他最近在一次圆桌会议上谈到，智能与控制欲之间没有必然联系，“想象一下未来10到20年，AI会在日常生活中协助我们，它们可能比我们更聪明，但我们指导它们，它们服务于我们。智能本身并不意味着渴望控制”。

LeCun表示，我们完全可以设计一个极为智能但不具备控制欲的系统。

为了实现这一点，这个系统必须是开源的，训练方式必须是众包的，而不仅仅是由OpenAI、Google、Meta这样的公司专有。而开源，也是OpenAI成立之初就定好的规矩。

关于人工智能的争论还在继续，但不管是Altman还是Ilya，甚至是OpenAI，都不是这个故事的主角，正在卷积网络中默默酝酿的那个AGI才是。

参考文献

[1]https://openai.com/blog/introducing-superalignment

[2]https://www.businessinsider.com/openai-ilya-sutskever-burned-wooden-ai-effigy-sam-altman-report-2023-11

[3]https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

[4]https://medium.com/@queenskisivuli/super-alignment-how-to-create-friendly-ai-d9684a611755

[5]https://mp.weixin.qq.com/s/NP-RHfEViDcICkWOmjMjsg

[6]https://twitter.com/dotey/status/1728820432613052859

[7]https://twitter.com/dotey/status/1728913073388368146

[8]https://openai.com/blog/introducing-superalignment

[9]https://openai.com/blog/openai-announces-leadership-transition

[10]https://coingeek.com/a-timeline-of-the-openai-crisis/

[11]https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/

本文来自微信公众号：果壳 （ID：Guokr42），作者：翻翻、Owl，编辑：翻翻

相关推荐

超级对齐vs有效加速：OpenAI高层大混战
有效加速还是超级对齐？
Sam和Ilya的深层矛盾：有效加速主义 vs. 超级“爱”对齐
OpenAI宫斗中被忽略的一部分：AI对齐
OpenAI内斗的本质是「左右之争」
回不去的Altman，难以调和的OpenAI路线之争
Ilya Sutskever：OpenAI“叛变者”的恐惧与信念
没有杀死，安全加速，会更强大 | OpenAI“政变”续四
OpenAI“政变”：没有杀死，安全加速，会更强大
ChatGPT一周年，差点吓死OpenAI

网址: 超级对齐vs有效加速：OpenAI高层大混战 http://www.xishuta.com/newsview100411.html