首页科技快讯 Scaling Law失效，AI泡沫的底层逻辑崩了？

Scaling Law失效，AI泡沫的底层逻辑崩了？

来源：晰数塔互联网快讯时间：2024年11月13日 00:48

谁能想到，让美国AI神话，数十万亿的估值，碰到存亡危机的，竟然不是大选选上来的特朗普和他不靠谱的政策。

昨天，著名科技媒体The Information发表了一篇可能动摇了整个AI圈估值逻辑的文章。

这篇名为《OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows》的文章指出了一个重大的问题，Scaling Law可能失效了。

所谓Scaling Law，简单讲就是“缩放定律”，是指系统或过程在不同尺度下表现出相似或相同行为的规律。OpenAI四年前曾经发布过一篇论文，模型的性能会随模型参数量、数据量、计算资源增加而指数提升。

这个定律对现在的生成式大模型AI来说，至关重要。只要Scaling Law 还成立，那么大模型的能力就可以伴随着堆更多的算力、搞更多的参数，喂更多的数据来实现最终的通用人工智能AGI。

这个对AI圈的估值，极端重要。因为毕竟AI圈现在几十万亿的估值，英伟达3.6万亿人类历史上最昂贵公司的加码，可不是现在几个AI聊天机器人或者视频图画生成工具能支撑的，这里边可都包含了对通用人工智能AGI的预期。

如果Scaling Law不再成立，通过单纯放大模型，增加算力不能到达AGI，那么那么多的cuda显卡的订单，那么高AI企业的估值，可就要付之东流了。美国21世纪最大的生产力革新点，美国唯二超过中国的科技制高点，可就成了明日黄花。

决不能出问题的Scaling Law，似乎出了问题。

碰上了天花板

在AI狂飙开始的2021年，就有人提出，Scaling Law可能有上限。但是随着chatGPT 2.0 3.0 3.5的不断迭代和技术飞跃， Scaling Law的正确性深入人心。

直到ChatGPT 4.0 把人类现存的数据全部吃完。我们似乎碰上了天花板。

最直接的结果就是人工智能旗舰OpenAI的进步速度，停止了。

根据The Information 给出的信息，OpenAI下一代ChatGPT 5的训练出现了重大瓶颈。他们公布的大模型GPT Orion，能力上升的很快，大约只用了20%的训练量，就达到了ChatGPT 4的水平，但OpenAI的研究者发现，后边增加训练量，GPT Orion的水平提升却很慢很微小。

在文本处理上新模型表现的确更好一点，但在编码等任务上可能还没法无法超越之前的模型。

结果就是，在吃掉人类互联网上所有数据之后，GPT Orion的水平，并没有比ChatGPT 4o高太多，远不及ChatGPT 2到ChatGPT3，或者ChatGPT 3.5到ChatGPT 4的那种飞跃。这导致OpenAI的下一代AI，GPT Orion没法被命名为ChatGPT 5。

为了突破数据用光的问题，OpenAI只能使用通过AI自己生产的“合成数据”来训练新的模型。

结果就是新模型用上老模型生产的合成数据，行为模式和性能表现变得跟老模型极其相似，甚至老模型出现的那些AI幻觉，也都全继承了下来。

Garbage in Garbage out。使用成本暴涨，性能提升微小，甚至最有价值的编程能力还劣化了，今年5月，Altman曾告诉员工，他预计下一代Orion很可能会比一年前发布的最后一个旗舰产品模型显著提升，可这个Orion表现，却远未达到目标。

这导致OpenAI开始脱离真正AI智能的提升，反而追求一些“奇技淫巧”的应用，比如让现有的AI模型来控制操作系统，模拟人的操作。

这就好比菊花厂不去搞科技基座和芯片突破，学起电商公司搞社区团购了。

这个Scaling law的天花板，不光OpenAI撞上了，其他各家也都是类似的情况。