渡鸦科技创始人再创业，「rct studio」用AI引擎做沉浸式全互动娱乐

2018年12月，互动电影《黑镜:潘达斯奈基》(Black Mirror: Bandersnatch)在Netflix上线，允许玩家代替主角在不同事件中做出选择，选择不同的故事线。

新奇的交互模式引起了观众的很大兴趣，猛增的用户流量甚至一度让Netflix服务器宕机。2019年以来，谷歌、亚马逊、BBC纷纷宣布制作并推出自己的互动作品，在国内，爱奇艺、腾讯、B站等互联网巨头也开始布局互动剧。

rct studio是36氪最近接触到的一家新型创意娱乐工作室，成立于2018年，致力于通过人工智能研发下一代沉浸式交互娱乐体验，公司曾入选美国最大创业孵化器 Y combinator， 同时是YC China第一批学员。

从交互的角度看，rct studio创始人吕骋认为，拿着遥控器在仅有的几个选项中选择剧情，并不是互动电影的最终的形态，这对观众体验而言，是割裂的。

在rct studio的设想中，用户需要完全沉浸在故事环境中，自然语言和动作成为影视画面的连接点，参与者可以自由进行决策，每一次动作都能被即时绘制成相应的3D视图，推动故事发展。这从形式上来说，无法具体被定义为电影或者游戏，rct studio将其统称为沉浸式全互动娱乐。

那么，如何做到？

rct studio自主研发的一款基于AI的Morpheus引擎，核心能力有机器学习能力（Machine Learning），自然语言程序（NLP）、文字实时转3D图像程序（Text-to-3D render）和基于深度神经网络计算的动作预测生成 （Motion prediction generation system）。

通过对大量剧本的学习，Morpheus可以将所输入的单一故事剧情拓展成一个开放世界，从文字中理解情节、人物之间的内在逻辑和关系，根据这些，丰富每个角色的思维、行动方式。相当于为每个人物后都是有一个独特的AI模型，这些算法都会在这个故事线里面理解出自己应该做什么，然后他们会在角色和角色之间交叉验证，最终可视化出来的所有可能的结局。

这样可以提供的价值是，在观众参与进剧情之后，所作出的每一个选择，只要是符合故事环境逻辑的，其他NPC都会据此开始作出反应。也就是说，AI可以自动完成故事线的构造，这解决了人工编剧在互动剧前期大量的故事分支工作。

故事分支

通过输入文字，文字实时转3D图像程序可实时快速生成人和物体的物理表现及运动关系。

以实时推流的方式，算法在人物运动的每一帧会预判并推出下一帧的预渲染结果，达到一个可以实时动态的过程，不需要在本地进行操作，也不需要在电脑端做额外的渲染。

以走路为例，利用动作预测生成可以任意规划路径，在它走路的过程中也可以任意调整，假设在路径中突然放置一个石头，人会直接在动态的过程中避障，然后重新规划路径。

左侧可自动避障

这是一种新的数字内容生产方式，吕骋称，可以将制作周期大幅缩减。还是以走路为例，在传统的制作流程中，需要先做三维建模、骨骼绑定、以及动态调整。利用这个程序，原本可能需要8-9月完成的工作，只需要3-4天就可以完成。

并且，这个程序可以支持多物体间的运动关系，考虑到物理层面的意义。譬如，杯子扔在沙发上和扔在桌子上，后者会碎，前者不会。在互动娱乐环境中，这可以为即时人物的反馈提供物理支撑。

总体来说，运用Morpheus引擎，制作一部互动娱乐产品的流程，只需要输入一个好莱坞标准剧本，或描述一个足够清晰的场景，机器就可以自动拓展故事节点、完善人物决策模型、生成场景物理表现和人与物的运动关系。

用户戴着带麦克风的VR眼镜以及体感设备，扮演自己的角色，就可以开始与剧中人物进行语音对话交互，和动作交互了。

吕骋称，rct studio核心希望解决的是如何将文字快速生成有内部逻辑的开放世界以及如何变成实时的动作，不论是Morpheus还是其他的技术手段，都只是为了最终提升虚拟数字内容生产效率的工具，rct studio希望做到的做虚拟数字世界的“水电网”。

与南京大学人工智能创新研究院合作，将推出用户级体验产品

根据rct studio联合创始人马欣洁的介绍，rct studio目前已与南京大学人工智能创新研究院达成战略合作，双方将围绕强化学习（Reinforcement Learning, RL）进行课题合作，研究成果将帮助rct studio优化人物决策模型。

 2020年，rct studio会推出一款用户级别的娱乐体验产品，以银行抢劫案作为情景主题，主要面向海外市场。

在内容上， 吕骋表示，rct studio会偏好选择先与成熟IP进行合作，目前与科幻内容发行商未来事务管理局已经达成合作，后者曾签约的作家人数约达200人，包括《三体》作者刘慈欣，之后两者或将合作推出交互式电影。

商业模式上，吕骋称，比起面向B端直接提供工具，rct studio对C端市场更加感兴趣。除了整体产品售卖， 在体验的过程中的增值服务也在想象空间内。

目前rct studio团队十余人，总部位于美国洛杉矶，创始人吕骋毕业于英国利物浦大学，曾创办人工智能智能操作系统渡鸦科技，被百度收购后曾出任百度智能家居硬件总经理，向百度集团总裁和首席运营官陆奇汇报。rct studio曾获星瀚资本和 Y Combinator的数百万美元种子轮融资，以及Makers Fund 千万美元的 A 轮投资。

文中图片来源：rct studio

相关推荐

渡鸦科技创始人再创业，「rct studio」用AI引擎做沉浸式全互动娱乐
36氪独家 | 离开百度后，原渡鸦科技创始人吕骋“投奔”陆奇
创投日报 | 「4iNLOOK」一年内累计融资近 2 亿元；「Califia Farms」筹集2.25亿美元D轮融资，以及今天值得关注的早期项目
线下娱乐如何由传统业务向沉浸式体验升级？
如何用沉浸式叙事做品牌营销｜技术就是沉浸式的全部吗？
和 AI 互动绘制千里江山，看洛神仙姿，「瑰丽」国风沉浸艺术展的黑科技和商业空间
36氪首发 | 做最沉浸的虚拟现实娱乐科技公司，「沉浸世界」获千万级新一轮融资
2019年密室行业消费洞察：“沉浸式”体验如何带动行业高增长
瞄准用户长线“治愈性 ”社交需求，「秘密星球」要用“IP+AR”做沉浸式社交
不止于「真人吃鸡」，「巨硬互动」要用物联网互动娱乐平台打造「新」线下真人情景游戏

网址: 渡鸦科技创始人再创业，「rct studio」用AI引擎做沉浸式全互动娱乐 http://www.xishuta.com/newsview16414.html