昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型

#昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE#

昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型。

资料显示，Skywork-MoE模型是基于昆仑万维此前开源的Skywork-13B模型进行扩展和优化的，它成功地将MoE Upcycling技术应用于实际，成为首个完整实现该技术的开源千亿MoE大模型。

值得一提的是，Skywork-MoE还支持在单台4090服务器上进行高效推理，这降低了AI应用的部署成本。

作为天工3.0研发模型系列中的中档大小模型，Skywork-MoE拥有高达146B的总参数量和22B的激活参数量。通过采用16个Expert的设计，每个Expert大小为13B，并在每次推理中仅激活2个Expert，Skywork-MoE在保持卓越性能的同时，实现了高效的资源利用和成本控制。

昆仑万维官方表示，此次开源Skywork-MoE模型及相关技术报告和实验结果，旨在与全球开源社区共享更多的MoE训练经验和Know-how。“希望通过这种方式，推动AI行业在更低成本下实现更大规模的模型训练，为AI技术的进一步发展注入新的活力。”

发布于：北京

相关推荐

昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型
昆仑万维发布“天工2.0”MoE大模型：支持超15万个汉字上下文窗口
昆仑万维：Opera成为全球首个接入端侧AI大模型的主流浏览器
全面拥抱大模型！腾讯正式开放全自研通用大模型：参数规模超千亿、预训练语料超 2 万亿 tokens
左手倒右手引争议，昆仑万维陷投资败局？
昆仑万维宣布出售同性交友软件Grindr，4年获利32亿
昆仑万维创始人前妻减持计划带崩股价，两个交易日跌30%
周亚辉告别昆仑万维
该让大模型走出对话框了
2700亿元游戏赛道红火，昆仑万维为何执意转型？

网址: 昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型 http://www.xishuta.com/newsview120184.html