苹果发布语言模型OpenELM：基于开源训练和推理框架

来源：环球网

【环球网科技综合报道】4月25日消息，苹果公司于日前发布一个名为OpenELM的高效语言模型，具有开源训练和推理框架。

苹果方面表示，“大型语言模型的可重复性和透明性对于推进开放研究、确保结果的可信度以及调查数据和模型偏差以及潜在风险至关重要。为此，我们发布了 OpenELM。”

据介绍，OpenELM使用分层缩放策略，可以有效地分配Transformer模型每一层的参数，从而提高准确率。例如，在参数量约为10亿的情况下，OpenELM与OLMo 相比准确率提升了2.36%，同时所需的预训练 tokens 数量为原来的50%。

“与以往只提供模型权重和推理代码并在私有数据集上进行预训练的做法不同。”苹果官方指出，“我们发布的版本包含了在公开数据集上训练和评估语言模型的完整框架，包括训练日志、多个检查点和预训练配置。我们还发布了将模型转换为 MLX 库的代码，以便在苹果设备上进行推理和微调。此次全面发布旨在增强和巩固开放研究社区，为未来的开放研究工作铺平道路。”

据悉，这是一项开源语言模型，其源码及预训练的模型权重和训练配方可在苹果 Github库中获取。

发布于：北京

相关推荐

苹果发布语言模型OpenELM：基于开源训练和推理框架
苹果一次性开源8个大模型，为WWDC做准备？
AI iPhone怎么做？苹果给出了一些答案
全面拥抱大模型！腾讯正式开放全自研通用大模型：参数规模超千亿、预训练语料超 2 万亿 tokens
650亿参数大模型预训练方案开源可商用，LLaMA训练加速38%，来自明星开源项目
OpenAI和Meta逼太紧，谷歌被迫开源？
AI画画模型成本被打下来了，预训练成本直降85%，微调只需单张RTX 2070，这个国产开源项目又上新了
Meta连甩AI加速大招！首推AI推理芯片，AI超算专供大模型训练
扎克伯格搞免费开源，搅动大模型池水
马斯克宣布开源AI大模型Grok，继续硬刚OpenAI

网址: 苹果发布语言模型OpenELM：基于开源训练和推理框架 http://www.xishuta.com/newsview116632.html