首页科技快讯牛津大学未来学家：假如AI有了欲望，世界会怎样？

牛津大学未来学家：假如AI有了欲望，世界会怎样？

来源：晰数塔互联网快讯时间：2025年01月14日 10:00

AI的四大猜想

作者／ IT时报记者郝俊慧

编辑／钱立富孙妍

技术、应用、法规、伦理……虽然ChatGPT震撼世间才两年，但世界仿佛已换了人间，而且这才只是开始。

一切对于AI的忧虑在于同一个前提：我们正在创造一个远比人类聪明的新物种，而在此前人类进化史上，这一幕从未出现过。如果说，人类的欲望是其之所以主宰地球的最强动力，那么AI有欲望吗？它的欲望会是什么？

站在2025年开端，《IT时报》记者采访了牛津大学人类未来研究所创始主任、《超级智能：路径、危险、策略》作者Nick Bostrom，复旦大学新闻学院教授、博士生导师邓建国，Logenic AI公司联合创始人李博杰，试图去寻找这些问题的初始答案。

猜想一

AGI何时到来？

除了理性，AGI还要有人类的感性

2025年，AGI会到来吗？

2024年，OpenAI定义了AGI（通用人工智能）的五个阶段：第一级是聊天机器人，具有对话语言的人工智能；第二级是推理者，解决人类水平的问题；第三级是代理者，可以采取行动的系统；第四级是创新者，可协助发明的人工智能；第五级是组织者，可以完成组织工作的人工智能，并表示自己正处于第二阶段。

2024年12月20日，OpenAI发布了o3，并宣布在AGI上取得了突破，最高的测试成绩达到了类人水平。

2024年最后一天，OpenAI首席执行官Sam Altman在社交媒体上公布了一项调查结果，公众谈及对OpenAI 2025最期待的产品时，AGI排在首位。

然而，乐观的OpenAI甚至在第一个问题上都还没达成共识：什么是AGI？

如果你向ChatGPT提问，它给出的答案是：AGI是指一种能够执行广泛任务的人工智能系统，具备类似人类的智能能力。

但Meta首席科学家杨立昆却说，自己避免使用AGI这个词，虽然他完全相信在未来某个时刻，机器会在人类智能所有领域都达到人类水平，“但把这称为 AGI 完全没有意义，因为人类的智能是极其专门化的”，他更愿意将之称为“人类水平的 AI”或“AMI”（高级机器智能）。

邓建国则表示，人们对于AI的认知是混乱的，人工智能的实际发展水平和大众从科幻电影中所认识的AI有巨大落差，从图灵测试到ARC-AGI，AI的得分越来越高，但似乎依然不是人们想象中的AGI。

他甚至认为，如果只有机器的理性，没有人类的感性，没有那些灵感突现的幽默感和与生俱来的悲悯与同理心（原生的，并非人工智能为了改进它对人类心理和社会的理解而建立起的具有道德意识的模拟意识），AGI从何谈起？但同样的悖论是，我们该担心AI消灭人类，还是AGI消灭人类，“很多时候，人类已经变成了AI，所谓内卷，就是典型目标导向造成的”。

李博杰对此也十分认同，“AGI已经成为一些公司的营销热点，每个人都可以定义不同的AGI标准”。

AGI的测试标准也在不断增加难度，尽管o3在AIME 2024数学测试中做对了 96.7%，ARC-AGI的正确率超87%，这似乎印证了o3即将具有通用的学习和推理能力，但ARC-AGI已经决定在2025年推出更严格的标准。

猜想二

超级智能的终极是什么？

要创造成为良好宇宙公民的超级智能

当人们还在讨论AGI的定义时，第一个提出类似概念的人工智能伦理学家已经走得更远。2014年，人工智能伦理学家Nick Bostrom在《超级智能：路径、危险、策略》一书中提出了“超级智能”概念——在几乎所有领域都远超人类的认知能力，并分为高速超级智能、集体超级智能和素质超级智能三种形式。这被认为是当前认可度最高的对于人工智能预期的定义。

10年后，Nick Bostrom发表了新的论文《人工智能创造与宇宙宿主》。在他的设想中，人类可能身处一个更大的背景中，里面包括例如由外星文明所创造的其他超级智能（非常遥远）以及未来的“数字永生者”（如果我们将生活在计算机中的话）。

“我建议我们应该尝试创造能够成为良好宇宙公民的超级智能——一个尊重宇宙主机中存在的规范，并为其他成员的价值观做出积极贡献的超级智能，而不是一个喜欢争论或总是坚持自己立场的超级智能。”他告诉《IT时报》记者，和当年他率先提出人类应该制造一种保护人类价值的超级智能那样，他认为，人类应该有更谦虚的态度去面对一个更宏大的宇宙主题。

图源：pixabay

至于o3是否走在实现超级智能的正确道路上？他表示，这条路径似乎在朝着那个方向前进，但尽管如此，可能仍需要在现有技术基础上，加入一些新的创新才能最终达到，而不仅仅是简单的扩展。

猜想三

超级智能的欲望会是什么？

AI可以有欲望，但要让它们

不像人类那样重视“自我存在”

2024年诺贝尔物理学奖被颁给了有着“AI教父”之称的辛顿（Geoffrey Hinton），表彰他在使用人工神经网络进行机器学习的基础性发现和发明。而辛顿是坚定的AI威胁论者，他认为建立比人类更聪明的系统，可能导致该技术躲过人类控制而构成人类生存威胁，“你知道有多少例子是更智能的事物被不那么智能的事物控制吗？很少”。

但杨立昆却有不同观点，他在一次采访中表示，“认为高智能必然导致统治欲望的想法是错误的。统治欲望源于生存需求而非智能水平，关键是如何确保 AI的目标与人类价值观一致，避免它们有意或无意伤害我们。”

Nick Bostrom同样认为AI可以有欲望，他告诉记者，“当一个AI系统具备创造和追求计划的能力时，我们可以说，它评估不同可能行动结果的标准反映了某种‘欲望’或偏好功能，但这并不需要到了超级智能阶段才能有，事实上，人类的很多欲望，比如食物和性，同样来自‘预设’-——进化遗传。”

Nick Bostrom

在他看来，超级智能产生“欲望”本身并没有问题，人类所担忧的某些AI系统可能发展出“自我保护”或“资源垄断”倾向，并不需要超级智能产生特殊的“生存本能”，本质上，这还是多种可能目标的工具性后果，但关键在于“超级智能不必像人类那样将自己的存在，看作是更值得珍视的”。

猜想四

AI和人类要如何超级对齐？

对“数字心灵”也要温柔以待

“Anthropic（由前 OpenAI核心成员创建）公司名字来源于Anthropic principle（人择原理），意思就是宇宙看起来似乎为人类的存在而微调过的。”李博杰告诉记者，Anthropic认为，并不是所有 AI 形态都对人类存在有益，因此要创造有益于人类存在的 AI 形态，也即AI Alignment（对齐）。

但要实现这一点非常难，Nick认为，人类可能会掉入“背叛转折”陷阱——人工智能较弱时，它会表现得非常合作；当人工智能变得足够强大时，它会在不给出预警也不做出挑衅的情况下进行逆袭，建立单一体，并开始按照其最终价值观直接对世界进行改造。

或者，超级智能会发现一种能够满足其最终目标的标准，但是违背开发人员设计该目标意图的方式。例如最终目标是让我们微笑，它会麻痹人类面部肌肉组织，使其永远保持微笑的表情。邓建国表示，著名科幻学家阿西莫夫制定的“机器人三定律”，便很容易让人类掉入机器人制定的反常目标陷阱。

图源：豆包AI

Nick Bostrom提到一种解决办法，如果人工智能的最终目标对资源要求比较低，而且它相信在多数虚拟世界里，如果合作的话就会得到奖赏（如果试图逃离盒子或者违背创造者的利益，就得不到奖赏），那么它就可能会选择配合。因此，即使人工智能具有决定性战略优势，有能力通过统治全球来更好地实现最终目标，它也可能不去这么做。

但这种共识是否能在当下的人工智能竞赛中形成？恐怕很难。

“从当前来看，各国都会有自己的人工智能，不必太乐观，也不必太悲观。”邓建国认为，在全球利益一致的问题上，比如气候，人类或许会达成某种AI伦理的共识，但整体而言，AI是无法实现人类价值观对齐的。

Nick Bostrom不确定是否会有单一的原则或组织形式存在，但AI的治理和全球合作的需求会越来越大，首先要确保越来越强大的AI系统不会失控并伤害人类；其次，即使AI系统与人类对齐，也需要确保人类不会利用它们来伤害他人，还需要确保AI的利益至少能够被公平地分配；第三个问题更为重要，需要确保未来对这些数字化意识体也有益，因为在未来，大多数具有感知能力的（或其他具有道德考虑的）意识体可能将是数字化的，所以需要朝着确保它们幸福、并考虑它们利益的方向发展。

快问快答

《IT时报》：2025，AI会有什么变化？

邓建国：第一，人工智能将进入创新扩散阶段，技术本身将在S曲线的底部平缓爬升，但同时应用层会出现水平扩散。基础大模型变得更强，也更加专业化，从水平扩散到垂直深入，AI将进入更多领域，不再是“天上飞过的大雁”，而是实实在在落地项目，被更多人接受；第二，大模型将变成小模型，更多垂直领域将使用自己的专业模型；第三，AI将慢慢渗透至不同人的工作流程中，诞生更多小而美的AI工具，人们会拥有自己私密的“AI朋友”。

李博杰：所谓“AI一天，人间一年”，目前 AI应用尚处于“初代iPhone”时期，模型能力、应用生态、用户习惯都在快速进化中。其中，大模型开始往专业模型和个人模型两个方向分化。专业模型是通用大模型和垂直领域数据、工作流的结合，通用大模型的基础能力是关键，一个世界领先的通用大模型加上 RAG（搜索增强生成）行业知识库，做出的专业模型效果往往超过开源模型加上一些垂直领域数据微调得到的行业模型。因此，专业模型虽然训练、推理成本都较高，但考虑到较高的溢价空间，投入是值得的。

我自己最大的期望是GPT-4o 能力级别的模型成本进一步降低，这样使用 LLM 的应用就不用担心成本问题，比如DeepSeek V3的1M tokens现在活动价是1元，还是小贵，但已经比 GPT-4o 便宜很多了。

发布于：上海