新壹科技亮出视频垂直大模型,支持多模态,24小时训练一个数字人
作者 | 周炎
编辑 | 云鹏
智东西7月27日报道,刚刚,新壹科技发布了国内首款聚焦视频的大模型“新壹视频大模型”,以及AIGC视频生成平台“秒创视频创作平台”,首款基于商用的数字人平台“新壹数字人平台”,此外,还发布了国内首款明星数字人祝福视频制作产品“秒祝”。
其中,“秒创视频创作平台”可以在用户创作内容的过程中提供AI生成服务,其中包括文字续写、文字转语音、文生图、图文转视频等,至此新壹科技的AI生成能力已覆盖文本、图像、音视频等内容模态。
新壹科技CEO雷涛称,AI赋能视频生产,进一步降低了视频生产门槛,用户可以更方便快捷地生产更高质量的视频,这样更多人参与到视频创作中,视频行业的格局或将再度改变。
一、具备多模态感知、实时学习等核心能力,“秒创”几分钟内生成科普视频
新壹科技发布的新壹视频大模型,基于深度学习海量视频样本,具有从脚本生成、素材匹配、智能剪辑配音到数字人播报的AI全流程视频生产能力,有助于让用户实现高质量、高效率、低成本、无门槛视频创作。
▲新壹科技创始人、董事长韩坤发布会现场发表演讲新壹视频大模型具备多模态感知、实时学习、自迭代及多场景交叉推理的核心能力。能够处理多模态的输入信息,可以理解文字的含义,识别图像的内容,感知音乐的情绪,基于对内容深度准确的理解,生成视频。
新壹视频大模型采用了自监督学习方案,会观察和学习大量的视频数据,通过分析视频的结构、内容、风格等多个维度,自我理解和把握视频制作的规则和逻辑。
新壹视频大模型能跨场景进行知识迁移与关联,选择合适素材,调整视频风格,生成满足创作者需求且质量高的视频;其可面向行业级的垂直场景对新壹视频大模型做定向训练,以提供更加精准、专业的服务。
秒创是基于新壹科技视频大模型的AI内容生成平台,该平台提供了图片生成、视频生成、声音生成、数字人生成等AIGC功能,以及千万级的结构化视频库。通过秒创平台,创作者可以把一篇文章甚至是一个想法制作为视频,而且从文案到视频成品时间仅为5分钟。
▲新壹科技CEO雷涛发布会现场对相关产品进行演示讲解二、24小时完成数字人训练,3D数字人未来将成为人人标配
新壹科技的数字人平台通过多模态合成AI技术,可以将真人录制的视频和音频素材生成2D写实数字人,同时该平台在24内小时可以完成一个数字人的训练。
该数字人平台融合通用语言模型、音视频生成技术,能够低成本的生成真人播报视频和直播,有助于降低真人出镜门槛。此外新壹数字人平台还可以驱动3D数字人形象。
新壹科技发布的最后一款应用为明星数字人祝福视频制作产品——秒祝。秒祝通过对明星视频进行训练,将明星的形象和声音还原出来,生成对应的明星数字人形象。最终呈现给客户的是以明星数字人为主角的个性化定制祝福视频。
结语:20年视频行业积累经验,未来AIGC业务将在垂直场景落地
在过去将近20年的时间里,新壹科技一直从事视频相关领域,并培养了一支代码技术过硬的工程师团队。
目前,新壹科技的AI生成能力已覆盖文本、图像、音视频等内容模态,已经实现从大模型到平台服务再到产品服务落地的AIGC业务全链路打通。未来,新壹科技将推出政府政务、金融保险、适老养老、智能交互数字人以及游戏等垂直场景服务。
发布于:北京
相关推荐
新壹科技亮出视频垂直大模型,支持多模态,24小时训练一个数字人
项目报道|由秒拍和小咖秀的团队孵化,「新壹科技」想打造AIGC时代的超级视频应用
APUS发布多模态大模型“AiLMe”
360 发布视觉大模型,周鸿祎:多模态大模型与物联网结合是下一个风口
消息称蚂蚁集团正研发语言和多模态大模型 定名“贞仪”
训练数据超20亿 云从科技视觉大模型刷新四项世界纪录
多模态学习,带来AI全新应用场景?
AI大模型“太贵”,VC投钱望而生畏
科技创新2030—“新一代人工智能”重大项目《“数据-模型-知识”增强的多模态基础模型学习与压缩关键技术》正式启动
独家 | 前商汤员工新成立大模型应用向公司「言图智能」
网址: 新壹科技亮出视频垂直大模型,支持多模态,24小时训练一个数字人 http://www.xishuta.com/newsview84847.html
推荐科技快讯
- 1问界商标转让释放信号:赛力斯 94765
- 2人类唯一的出路:变成人工智能 17728
- 3报告:抖音海外版下载量突破1 17241
- 4移动办公如何高效?谷歌研究了 17004
- 5人类唯一的出路: 变成人工智 16832
- 62023年起,银行存取款迎来 9953
- 7网传比亚迪一员工泄露华为机密 7907
- 812306客服回应崩了 12 6319
- 9山东省大数据局副局长禹金涛率 6093
- 10从TikTok在美困境看全球 6053