首页科技快讯大模型端侧部署，我们来聊点不一样的

大模型端侧部署，我们来聊点不一样的

来源：晰数塔互联网快讯时间：2024年04月09日 18:35

从去年下半年开始，几乎所有硬件厂商都达成了一项默契：抱紧AI。

手机厂商认为这是继功能机和智能机后的“第三次变革”；PC厂商则要更加兴奋，因为他们所在的行业，过去十余年间都未曾感受过技术变革带来的红利。在一票大语言模型的带动下，“端侧AI”开始反复被提及，尽管这个概念诞生还不满一年。

在手机和PC厂商的叙事中，端侧AI不仅能够提升日常使用及办公效率，还是隐私保护和数据安全的最优解，甚至有厂商指出，端侧AI可以让每个用户拥有属于自己的“个人大模型”。

暂且不说这些理念是否存在“先射箭子后画靶子 ”之嫌，一个需要被前置讨论的问题是：大模型如何在端侧完成部署？

以手机端为例，目前发布且有实际演示的模型中，10亿参数量Stable Diffusion已经可以在搭载骁龙芯片的手机上运行，但再大一些的模型，比如让手机厂商们心心念念的Llama 2，其130亿参数规模跑在手机端就非常吃力，这还是在不考虑功耗问题的前提下。

也就是说，目前的大模型，有相当一部分根本无法打破端侧产品在硬件上的掣肘，毕竟云端算力可以通过增加机柜和GPU的方式提高，但手机和PC显然不具备这样的条件。

针对这个问题，3月31日，虎嗅科技组主办的“2024 AI内参会”上，邀请到了面壁智能CTO曾国洋，极客邦科技副总裁、TGO鲲鹏会总经理杨攀针对端侧AI和AGI行业的技术实践及应用场景展开了讨论。

以小博大，未尝不可

今年2月，面壁智能发布了20亿参数的开源端侧模型MiniCPM，在多个主流评测榜单中，该模型中英文分均超过Mistral-7B开源模型，甚至优于Llama 2-13B。

另外，该公司表示，该模型支持消费级显卡如1080Ti参数微调，以及主流手机处理器端侧推理。

在大模型从业者们疯狂堆砌参数的当下，面壁智能为何会选择另辟蹊径地去主攻一款小模型？

在内参会上，曾国洋就这一问题做出了回答：把MiniCPM称之为小模型可能不太准确，较为合适的名称应该是“更高效的模型”，就是在有限的资源内去把模型做得更好。

“如果简单地将模型参数规模做大的话，它确实会随着scaling law出现效果的提升，但它单一维度的提升是低效的。我们在研究出一个更优化的方法之后，其实是可以随着参数扩大，让模型爆发出一种更明显的增长。”曾国洋表示。

这里需要解释下scaling law的概念。即模型的最终性能主要与训练计算量、模型参数量和数据大小三者相关，而与模型的具体结构（层数/深度/宽度）基本无关。研发人员可以通过它在固定资源预算中，如额定的GPU数量、训练数据量或是训练时长下，匹配模型的最佳大小，且无需经历昂贵的试错。

面壁智能的思路就是，在遵循scaling law的情况下，对模型的细节进行更好的优化，使其在同等成本下达到更好的效果。

而成本问题也可能是未来端侧AI发展的最核心的推手。可以做个假设，如果未来在大模型领域出现了某个超级应用，会有上百万，乃至上千万人同时在线，用户都在云端使用模型的话，仅算力带宽这一项成本，对于创业团队来说都是难以承受的。

在今年2月MiniCPM发布会现场，面壁智能CEO李大海曾做过测算，用一台搭配骁龙855芯片的手机在本地端跑大模型，按照运行 5 年计算，每秒 7.5 tokens，那么 170 万 tokens 的推理成本仅需人民币 1 元，成本仅为 Mistral-Medium 的百分之一。

这里有处有趣的细节是，骁龙855是高通于2018年发布的终端SoC，用于演示似乎有些过于落后了。

曾国洋在AI内参会现场的发言，大概解释了这一问题：行业内有个误区是手机等终端的算力不够，但真正的瓶颈其实是显存带宽不够。曾国洋认为，随着端侧模型的落地，未来硬件层面可能会迎来一波升级。

“我觉得未来一到两年的时间，我们有机会看到一个相当于GPT3.5的模型跑在手机上。”曾国洋表示。

AGI时代，创业者们该怎么办？

无论是目前已经被大规模投入使用的云侧AI，还是行业内正在布局的端侧AI，亦或是两种混合部署，最终都指向行业翘首企盼的终极目标——AGI（通用人工智能）。

AGI听起来距离我们还很遥远，但无论是黄仁勋还是山姆·奥特曼都不止一次地表示过，AGI最快将在5年内问世。那么在当下，人工智能的创业者们该如何面对这即将到来的行业内的最大变数？

极客邦科技副总裁、TGO鲲鹏会总经理杨攀认为，经历了互联网时代和AIGC时代的创业者们很可能会陷入对两大路径的依赖当中：对移动互联网的路径依赖限制对AGI原生应用的想象，对云计算的路径依赖限制对OpenAI生态位定位的预判。

“业务负责人们需要思考的是，在不依赖当前AGI技术实现水平的情况下，对未来6-18个月的产品功能和市场变化做出预测。”杨攀表示，最终还是要落在场景上而不是功能上，因为后者很容易被AI所碾压。

正如一个无比现实的问题是，今年有望发布的GPT5，其能力可能会直接将部分应用甚至是行业覆盖掉。

如何避免被GPT5折叠？在杨攀看来，无论大模型能力有多么强大，最终它还是要同物理世界打交道，还是要接入外部的数据，如果你是数据的提供方，就会成为它坚实的伙伴。

因此AI创业者们必须要审视手中的项目是否具备数据优势，是否能给大模型提供数字世界或是物理世界的接口，以及同其他系统能力打交道的接口。

“相较于过去我们所熟知的程序，AI擅长的其实是模糊数据的处理，而这正是过去人类所擅长的工作。”杨攀补充道。