从Siren到“航天员”小诤，虚拟数字人经历了怎样的蜕变？

人类正一步一步走向Oasis绿洲世界。

随着人工智能、5G、云渲染、动捕等技术的突破，虚拟数字人逐渐进入大众视野。

在刚刚落幕的2021ChinaJoy上，数字人行业首场展会落地，数字员工、虚拟偶像、虚拟主播等争相亮相，以及推出虚拟数字人线下互动体验等技术方案和各类XR社交游戏等，让普通用户一览新奇。

这不禁让笔者联想到史蒂文·斯皮尔伯格的《头号玩家》，一套VR设备便可将主角韦德·沃兹拉入到寄托人类救赎的虚拟世界——Oasis，化身成帕西法尔，开启另一段人生旅程。

近年来，脑机接口、Metaverse、超级数字场景等前沿概念不断兴起，人类对未来世界形态的探索愈发强烈。

可以想象，如果当人类都可以进入这一未来场景中，所需创建的虚拟角色体量应该是空前庞大。显然，仅靠人工手动完成几乎不可能，届时我们就需要工业化的标准生产流程和更智能的创作方式。

这也是很多国内企业正在努力探索的方向。

6月20日，在神州十二号成功发射，三位航天员顺利抵达空间站后不久，由新华社和腾讯联合打造、专门面向航天主题和场景研发的数字航天员、数字记者“小诤”亮相，带用户漫游三大空间站。

8月20日，“小诤”又在航天员二次出舱当日进行了全面报道她将承担起载人航天工程、行星探测工程、探月工程等国家重大航天项目的“现场报道”任务。

据官方介绍，全球首位数字航天员小诤“诞生”于腾讯游戏旗下NExT Studios（以下简称：NExT），由团队15名研发人员精心培育。其中包括虚拟数字人Siren（塞壬）制作团队的核心创始成员。

近日，竞核对NExT Studios数字人团队进行了专访，进一步了解了“小诤”背后的虚拟数字人技术。

塞壬到小诤，创作周期减半

“小诤和Siren（塞壬）还是有很大区别，前者是超写实数字人，后者是高保真数字人。”团队负责人葛诚耐心解释到。

Siren（塞壬）是NExT在2017年启动的高保真数字人项目，取名于北欧神话中的女妖塞壬。

据悉，当时这个项目的目标是Crossing the boundary：跨越影视和实时渲染边界，制作可实时交互的数字人物；在高保真角色基础上，进一步增加高精度的实时动作捕捉与渲染。

2018年，Siren（塞壬）正式亮相GDC，其高还原度媲美真人的形象，以及可实时驱动的表情动作，可以说激起了人们对虚拟人技术的无限想象。

回到区别层面，高保真数字人更趋向“复刻”。例如Siren（塞壬）外形跟其原型演员姜冰洁长得一模一样。

“对我们来说，Siren（塞壬）项目整个过程中最艰难的就是要做这样一件事，我们把它称之为Lookdev，这也是电影行业做数字人的常用流程。而小诤则是朝超写实方向做的。”

所谓超写实，更偏向“无中生有”。

例如小诤的形象原型，先是新华社团队（全称：新华社媒体融合生产技术与系统国家重点实验室）对人物角色进行定位，与NExT团队将数百位新闻工作者以及航天工作者人脸叠加得出原画，然后根据这一原画挑选一位形象接近的模特，通过自建的Photogrammetry Lab对模特进行完整细致的扫描建立基础模型。再对模型进行二次艺术加工，并赋予人物个性特性，最终得到小诤的形象。

而小诤与Siren（塞壬）之间也有着相同点——“实时”。

对此，葛诚介绍到，采用虚幻引擎其实就是为了能够实时渲染小诤，让她能够做live或者直播类的应用。

当然，从塞壬到小诤不仅有沉淀与继承，也有突破与创新，其核心技术就在于“绑定”。例如，塞壬项目做了大半年时间，其中最耗时的就是绑定流程，而小诤项目绑定流程差不多在2个月左右。

“我们花了两年左右时间逐渐沉淀出一套高效人脸制作管线——xFaceBuilder®，可以在两个月时间里生产出一套同品质的绑定。”葛诚透露到，“除了绑定，这一技术还兼顾了前期建模以及后期动捕。”

也就是说，建模、绑定、动画三个数字人创作中比较重要的环节，都被纳入xFaceBuilder®中，并给出统一的解法。得益于此，小诤项目整体周期从半年缩短到3个月内。

虚拟数字人与游戏

谈及虚拟数字人应用场景，可能很多人都觉得过于前沿。其实现阶段，这一技术也在推动低维层面事务发展。

例如我们熟知的游戏行业。

有一说一，3A游戏角色其实还达不到“小诤”这类虚拟数字人的品质。

故此，NExT从虚拟数字人技术中抽出了一套相对匹配的制作管线，可以为3A级游戏甚至可以再往下为手游，快速生成符合游戏产品品质的人脸生产管线。

当然，从成本上来讲，数字人的成本支出非常大。例如团队在“小诤”脸上种了10万根面部汗毛，这对机能的消耗是极其庞大。

目前数字人项目主要是以高效出片为主，相对能接受比较高的性能开销，譬如靠对堆Mesh数量来达到效果。而在游戏这样一个实时互动的场景下，可利用xFaceBuilder®来完成高效推荐。

其实从《重生边缘》目前展现出的效果来看，其品质基本接近主机大作水准。

据笔者了解，NExT中有很多成员来自海外3A厂商，近两年团队也在加速工业化制作流程。

“游戏工业化，必须要走。就好比人类从农业手工作坊到现代化社会，必须要走工业化这条路。”葛诚坦言。

近年来，腾讯在3A游戏或者说游戏工业化领域的布局也明显加快。包括将外部大厂工业化管线引入厂内，进行定制化改进等。据悉，在某些领域腾讯已经做到了行业头部。

聚焦游戏工业化，在竞核《70页深度：中美游戏工业化进程对比、产业拐点、演化趋势》一文中（点击蓝字复习全文），将其分为三个阶段：第一阶段，积累、整合、中台化；第二阶段，3A品质、供应链；第三阶段，人工智能技术（AI）在游戏产品中的应用。

从中可以看出，AI被视为游戏工业化后期阶段的核心技术。对NExT来说，这也是重要研究方向之一。

在开发xFaceBuilder®过程中，他们就采用了大量AI算法技术来提升效率。比如将基于deep learning的一些AI算法应用到制作管线上，来提升绑定、渲染效率等。

此外，AI也可用来提升用户体验，包括采用超分技术，在相对较弱的显卡上渲染出4K或4K以上分辨率的图片。这与当前热门概念“云游戏”的特性类似，即低硬件门槛，高品质体验。

葛诚总结到，AI基本上带来两方面利好：在工业化管线上，提升效率；面向用户，提升体验。

必须提出的是，这一切都源自NExT在虚拟数字人领域的研究与沉淀。

我们对未来的思考

回溯历史，每个时代都有属于自己的游戏形态，它对文化、科技的传承与发展都曾产生过积极影响。

在当今社会，游戏充当着各个行业的动力源泉。例如人们对3D游戏的需求驱动显卡技术的革新，《王者荣耀》等游戏成为文创、文旅领域的新兴媒介，以及“小诤”等虚拟数字人已经开始承担起传播科技、航天知识的重任等。

腾讯高级副总裁马晓轶曾公开表示：“游戏，正在成为一个超级数字场景。”

如何更好的迎接未来，值得当下的我们去深思。就简单说虚拟数字人领域，其实还有很多瓶颈亟待突破。

前文我们提到，NExT在创造“小诤”的过程中，采用了光学动捕技术。虽然光学动捕技术对动作的捕捉精度高，但相对于惯性捕捉和视觉捕捉技术，它对环境的要求也更高， 并且造价高昂。

葛诚坦言，目前虚拟数字人技术主要不是面向普通用户，更多是为ToB单位提供内容制作。采用光学动捕这类比较重的技术，既是为了保证品质，同时也可以形成一致的动画生产管线。

据笔者了解，NExT在上海嘉定有自己的Vicon棚，也有一套从动捕到引擎的生产管线——xMoCap®技术。这条生产管线既适用于一般性游戏，也适用于虚拟人场景。

除了在这方面的思考与布局外，他们对超级数字场景/Metaverse也有着自己的理解。

NExT Studios总经理沈黎在媒体采访中提到，尝试把现实世界中的东西捕捉为数字资产，你可以理解为数字化。建立超级数字场景本质就是数字化，而我们会更聚焦于“人”上面。

他认为，AI本质上是把现实与数字进行了融合，希望尝试这种技术是否能解决游戏以外的问题。

早在2018年，NExT就着手于在Siren（塞壬）这张皮上面加一个AI的脑子，即虚拟数字人+AI的模式。

SIGGRAPH Asia 2018现场，“塞壬AI”技术使得数字人能够和真人通过大屏进行聊天互动；SIGGRAPH Asia 2019的Realtime Live环节，NExT Studios又一次携带能说多国语言，能表达多种情绪的男性数字人Matt实时进行了展示。

“在Matt项目上，我们主要做的就是利用AI语音驱动数字人口型以及表情。”葛诚说到。

而如今的“小诤”就好比处在从试着行走到奔跑的成长过程中。

本文来自微信公众号“竞核”（ID：Coreesports），作者：桂志伟，36氪经授权发布。

相关推荐

从Siren到“航天员”小诤，虚拟数字人经历了怎样的蜕变？
从险些“一无所有”到如今“顺风顺水” 一年来马斯克发生了怎样的蜕变？
骚扰电话“蜕变”史：从虚拟号、碰瓷客服短号到隐号来袭
用游戏技术跨出游戏 NExT Studios这个工作室在做什么？
NASA证实SpaceX将是首家运送航天员到空间站的私人公司
小鹏、蔚来「蜕变」，新造车迎来了最好的时代？
超级观点 | 数字人首登《时代周刊》，虚拟产业的想象力到底有多大？
帮助糖尿病患者预警足部炎症的智能袜子，「Siren」获 1180 万美元 B 轮融资
发射圆满成功，航天员一切“OK”“感觉真好”
从 QQ 秀到「数字时装」，元宇宙原来是种「消费升级」

网址: 从Siren到“航天员”小诤，虚拟数字人经历了怎样的蜕变？ http://www.xishuta.com/newsview50143.html