DeepSeek惊艳全球,美国大模型两巨头:并不比我们先进
DeepSeek R1的横空出世给全球AI行业带来了新的变数。面对冲击,美国两大AI巨头Anthropic与OpenAI迅速做出回应,试图淡化市场对其技术领先地位的担忧。
周三,Anthropic 首席执行官达里奥·阿莫迪(Dario Amodei)发布了一篇长文讨论了DeepSeek的进展,他指出DeepSeek 并没有“用600万美元做到美国AI公司花费数十亿美元才能实现的事情”。以Anthropic为例,Claude 3.5 Sonnet是一个中等规模的模型,训练成本达数千万美元,远不是数十亿美元级别。
他认为DeepSeek的训练成本降低符合行业趋势,并不代表突破性的技术成就:
如果AI训练成本的下降趋势是每年4倍,如果DeepSeek-V3的训练成本比一年前开发的美国当前模型低约8倍,那其实完全符合正常趋势......即使接受DeepSeek的训练成本数据,他们也只是处于趋势线上,甚至可能还未完全达到。
此前一天,OpenAI首席研究员Mark Chen也对DeepSeek R1做出回应,其态度既肯定又带有一丝微妙。
Chen承认DeepSeek“独立发现了OpenAI在o1模型研发过程中的一些核心理念”,然而,Chen随即将焦点转移到成本问题上,认为“外界对成本优势的解读有些过头”。
但纽约大学教授、AI专家Gary Marcus认为,DeepSeek对OpenAI的影响可能比想象中更大。
一、Anthropic CEO:DeepSeek并未打破行业趋势
阿莫迪先系统拆解了AI发展的三大定律:
规模法则
AI的一个核心特性是规模驱动性能提升。我和我的联合创始人在OpenAI工作时,曾是最早记录这一特性的人之一。在其他条件相同的情况下,训练规模越大,AI在一系列认知任务上的表现越稳定、越出色。例如,100万美元训练的模型可能能解决20%的关键编码任务,而1000万美元的模型可能达到40%,1亿美元的模型则可能提高到60%。这种差距往往极具实际影响——再增加10倍的计算量,可能意味着从本科生的水平跃升至博士生的能力。因此,各公司正投入巨额资金训练更大规模的模型。
计算成本的下降
AI领域不断涌现新的优化思路,使模型训练更高效。这可能是架构上的改进(例如对 Transformer 的优化),也可能是底层硬件的效率提升。这些创新会降低训练成本:如果某项技术创新带来2倍的计算效率提升,那么本需要1000万美元的训练任务,如今只需500万美元即可完成。
每家前沿AI公司都在不断发现这样的优化方案,通常提升幅度为1.2倍,有时是2倍,偶尔甚至能达到10倍。由于更智能的AI价值极高,成本效率的提升几乎总是被用于训练更强的模型,而不是降低总支出——换句话说,公司只会在更大的规模上投入更多资源。
从历史趋势来看,由于算法和硬件的改进,AI训练的计算成本每年下降约4倍。这意味着,仅靠行业的正常发展,2024年训练一个模型的成本,理应比2023年低3到4倍。
同时,训练成本的下降也带动了推理成本的下降。比如,Claude 3.5 Sonnet相较GPT-4晚了15个月发布,但几乎在所有基准测试中都胜出,同时API价格也下降了约10倍。
训练范式的变化
AI训练方法也在不断演变。从2020年到2023年,行业的主要扩展方式是增加预训练规模,即在海量互联网文本上训练模型,然后辅以少量额外训练。而2024年,强化学习(RL)训练成为了新的关键突破口。这一方法显著提升了 AI 在数学、编程竞赛等推理任务上的表现。例如,OpenAI在9月发布的o1-preview模型,就采用了这一技术。
我们仍处于RL训练扩展的早期阶段。现阶段,即便只额外投入100万美元进行RL训练,也能带来巨大收益。公司们正加速扩大RL训练规模,但目前AI仍处于一个独特的拐点——这意味着只要起点足够强,短期内多个公司都能推出性能相近的模型。
阿莫迪指出以上三点有助于理解DeepSeek最近的发布。大约一个月前,DeepSeek推出了 DeepSeek-V3,一个仅进行预训练的模型。随后,上周他们发布了 R1,加入了第二阶段的强化学习训练。
阿莫迪表示,DeepSeek-V3其实是一个值得关注的创新。作为预训练模型,它在某些任务上接近了美国最先进模型的性能,同时训练成本显著降低,尽管在现实世界任务,如编码能力等方面,Claude 3.5 Sonnet仍遥遥领先。DeepSeek团队在键值缓存管理和专家混合架构等方面做出了一些真正出色的工程优化。
但阿莫迪认为,有几点需要澄清:
DeepSeek并没有“用600万美元做到美国AI公司花费数十亿美元才能实现的事情”。以 Anthropic 为例,Claude 3.5 Sonnet是一个中等规模的模型,训练成本达数千万美元,远不是数十亿美元级别。
并且,Claude 3.5 Sonnet训练于9~12个月前,而DeepSeek的模型训练于2023年11月至12月,即便如此,Claude 3.5 Sonnet在多个关键评估中仍明显领先。
DeepSeek的训练成本并未突破行业趋势。如果成本曲线下降的历史趋势是每年约4倍,那么按照正常业务发展——即2023年和2024年的成本下降趋势——我们现在应该会看到一个比 3.5 Sonnet/GPT-4 便宜3到4倍的模型。
然而,DeepSeek-V3 的性能比这些美国前沿模型差一些——假设在扩展曲线上差约2倍,这已经是对DeepSeek-V3相当慷慨的估计了——这意味着,如果DeepSeek-V3的训练成本比一年前开发的美国当前模型低约8倍,那其实完全符合正常趋势。
我虽不便给出确切数字,但从前面的分析可以看出,即使接受DeepSeek的训练成本数据,他们也只是处于趋势线上,甚至可能还未完全达到。
比如,这比原始GPT-4到Claude 3.5 Sonnet的推理价格差异(10 倍)要小,而且3.5 Sonnet本身也是一个比GPT-4更好的模型。这些都表明,DeepSeek-V3并非独特的突破,也没有从根本上改变LLM的经济性,它只是持续成本降低曲线上一个预期的点。
不同的是,这次第一个展示预期成本降低的公司是中国的,这在以往从未有过,具有重大的地缘政治意义。不过,美国公司很快也会跟上这一趋势——他们不会通过抄袭DeepSeek来实现成本降低,而是因为他们自身也在沿着常规的成本降低趋势发展。
DeepSeek不是第一个实现成本优化的公司,但它是第一个来自中国的公司。这一点在地缘政治上意义重大。但同样,美国AI公司也会很快跟进——并不是通过抄袭 DeepSeek,而是因为它们本就沿着同样的技术路线前进。
此外,阿莫迪指出,DeepSeek拥有50000颗Hopper代GPU,估值约10亿美元,与主要美国AI公司持有的芯片规模相差2~3倍。这意味着DeepSeek的整体投入并不比美国AI实验室少太多。
阿莫迪表示,上周发布的R1之所以引发关注(甚至导致英伟达股价下跌 17%),并不是因为它在技术上比 V3 更具创新性。它的强化学习训练本质上只是复制了OpenAI在o1-preview模型中的做法。由于AI训练仍处于RL扩展的早期,几家公司目前能产出相似水平的模型,但这一状况不会持续太久,随着扩展规模的扩大,领先者很快会拉开差距
二、OpenAI高管:外界对成本优势的解读有些过头
OpenAI首席研究员Mark Chen在社交媒体上对DeepSeek的成就表示祝贺:
“祝贺DeepSeek成功研发出o1级推理模型!他们的研究论文表明,他们独立发现了我们在实现o1过程中所采用的一些核心思想。”
但Chen随即将焦点转移到成本问题上,认为“外界对成本优势的解读有些过头”。他提出了“双轴优化”(pre-training and reasoning)的概念,暗示OpenAI在成本控制方面同样有能力。
Chen还提到了“蒸馏技术”的成熟和“成本与能力解耦”的趋势,强调OpenAI在模型压缩和优化技术方面的探索。他特别指出,“低成本服务模型(尤其是在较高延迟下)并不意味着拥有更强的模型能力”。
最后,Chen表示OpenAI将继续在“降低成本”和“提升能力”两个方向上“双管齐下”,并承诺“今年会发布更优秀的模型”。
三、AI专家:DeepSeek对OpenAI构成威胁
纽约大学教授、AI专家Gary Marcus则认为,DeepSeek的出现对OpenAI构成了实质性威胁。
他指出,“DeepSeek基本上免费提供了OpenAI想要收费的东西。”Marcus认为,这可能会严重影响OpenAI的商业模式。
Marcus还强调,DeepSeek比OpenAI更开放,这将吸引更多人才。他质疑OpenAI 1570亿美元的估值,认为在每年损失约50亿美元的情况下,这一估值难以证明其合理性。
本文来自微信公众号:华尔街见闻,作者:叶桢
相关推荐
DeepSeek惊艳全球,美国大模型两巨头:并不比我们先进
DeepSeek扭转AI战局?谁说我们不能在“1到100”阶段异军突起
变天:由一个惊艳例子引发对Deepseek的10条思考
当我用DeepSeek来写DeepSeek
DeepSeek什么来头,何以震动全球AI圈?
AI共富:DeepSeek震惊美国AI业界,中国国产AI大崛起!
“后来者”DeepSeek:掀起算法效率革命
DeepSeek新模型大揭秘,为何它能震动全球AI圈
DeepSeek,从追赶者到追杀者
中国大模型现状:一面狂热,一面冷峻
网址: DeepSeek惊艳全球,美国大模型两巨头:并不比我们先进 http://www.xishuta.com/newsview132180.html
推荐科技快讯
- 1问界商标转让释放信号:赛力斯 95067
- 2人类唯一的出路:变成人工智能 20174
- 3报告:抖音海外版下载量突破1 19974
- 4移动办公如何高效?谷歌研究了 19396
- 5人类唯一的出路: 变成人工智 19282
- 62023年起,银行存取款迎来 10229
- 7网传比亚迪一员工泄露华为机密 8346
- 8五一来了,大数据杀熟又想来, 7727
- 9滴滴出行被投诉价格操纵,网约 7350
- 10顶风作案?金山WPS被指套娃 7158