沉浸式互动体验升级，虚拟3D走向消费场景——一场手机“冰雪 ...

杜十娘

摘要：第12期云谷创新谈邀请了超次元CEO——陈坚，阿里云无影解决方案架构师——屈立威，通过超次元的发展了解虚拟行业的趋势，一起解密天猫App“3D冰雪派对”背后与阿里云的技术合作，共同探讨元宇宙的技术趋势及互动形态的发展。

正式访谈前，屏幕对面的陈坚变身为一个穿着白T恤的3D拟人化狮子，这个狮子可以实时还原他本人的表情和动作，不仅能动嘴眨眼，还能转动身体。这是他为自己设计的虚拟形象。
就在过去的双十二活动，陈坚带领超次元为天猫App打造了一场“3D冰雪派对”，并和阿里云无影团队一起探索了一套更轻量级的全新元宇宙端上体验技术方案。用户可以创建自己的虚拟形象，在这个冰雪世界里奔跑、跳跃、对话，还能参加抢红包、寻宝等活动，流畅度和体验不受到终端设备算力的限制。这是一场基于元宇宙概念下打造的品牌体验创新活动。
陈坚在虚拟行业已经有将近20年的创业经历，是国内二次元AR/VR资深创业者。2015年，陈坚创办了超次元，从初期的二次元VR/AR开发，转型做虚拟偶像直播，到今天专注于虚拟空间和虚拟活动运营整合。他的每一次转型都正好在虚拟行业的拐角处，第一次是虚拟偶像直播，第二次是元宇宙。



（想看本期云谷创新谈完整直播，点击下方卡片）

<hr/>多次转向的虚拟行业：如何实现技术和商业化双落地

2015年超次元创立之初，陈坚的注意力还在二次元VR/AR卡牌项目上，但进度并不理想甚至一度要停掉。直到2016到2017年，短视频与直播兴起，此时海外开始流行虚拟主播，并诞生了绊爱等有规模化效应的IP。这让陈坚看到了虚拟产业发展的新方向——虚拟偶像直播。
但陈坚也面临一个重大命题：到底是做内容、做运营还是做技术？有了前面VR/AR的开发经验积累，从快速商业化落地出发，陈坚选择了从技术下手，做虚拟直播工具开发，并在2018年初推向市场。
陈坚认为，这套工具的推出是公司发展的关键点，使得超次元成为当时市场唯二能独立交付客户使用的虚拟直播工具。超次元转向盈亏平衡，也将公司的战略重心放在了二次元虚拟主播。2019年，陈坚将海外兴起的二次元虚拟偶像线下活动引入国内，基于点对点的远程传输技术，采用电影院包场的方式在全国多个商圈落地，上座率达到100%。
但到了2020年，受疫情影响线下活动按下了暂停键，市场的主要需求开始从线下活动转向了线上，虚拟行业迎来了新的增长点，超次元开始寻求第二次转型。但这时候的元宇宙还没被明确定义，市场没有虚拟社交的概念，企业和平台在选择虚拟产品和服务时侧重“视觉效果”。在第二次转型的前半程，超次元做跨物理空间的演出活动，即通过构建虚拟空间，结合动捕技术来进行多人同屏实时互动的虚拟直播演出，并与国内视频平台合作举办了多场线上虚拟偶像歌会。



超次元虚拟偶像冰火歌会

为进一步形成营销闭环，商家们提出加入更多的沉浸式互动玩法，市场的需求开始向社交性延展，元宇宙的概念迎来爆发。转型进入后半程，陈坚对超次元的业务范畴进行了延伸，不再局限于二次元的虚拟偶像演出，而是结合“人、货、场”打造虚拟大世界，面向消费者提供可交互的沉浸式虚拟活动。用户不再是旁观者，而是成为参与者，可以在虚拟空间中自由行走，自行操纵虚拟形象的视角并进行场景互动。



天猫App“3D冰雪派对”

整个过程涉及到很多技术迭代的问题，例如数据传输方式的迭代。在传统的虚拟直播中，观众看到的画面是通过统一渲染推送过来的视频流，而在沉浸式的虚拟活动中，观众们的视觉和互动体验是千人千面。从底层的技术去看，每一个用户都要接收一组单独的数据流，传输方式就从点对点变为点对多的传输，传输的规模也从1V5转变为1V5000，甚至是1V50000。面对技术迭代的挑战，陈坚并不担心，他认为：
一方面，设备和引擎算力的提升，优化了视觉体验；另一方面，RTC（实时音视频传输）技术的底层应用，可以实时还原动作和表情；此外，云计算、5G技术的成熟及应用，可以有效解决推广实施层面的问题，实现大规模的数据推送。
<hr/>新技术、新体验：一场突破终端设备限制的3D冰雪派对实现背后

超次元已成为国内综合型虚拟空间和虚拟活动运营整合商，为合作伙伴提供包含虚拟人+虚拟空间+虚拟内容在内的矩阵式虚拟化服务，已服务企业级客户超500家，与国内外知名IP合作超过1000个，超过40000名终端用户。
在陈坚看来，评价一场沉浸式虚拟活动好坏的核心标准是：细节还原度高、运行流畅度高、传输延时低。
超次元的做法是借助RTC技术和云厂商的传输算力和承载力，解决大并发的问题；通过对数据压缩分发，用户终端接收后再进行解析和重组，可以降低骨骼和表情的数据损耗，尽可能保留细节。
但活动推到用户端时，又会产生新的问题：
第一个，不同用户终端的硬件配置不一样，配置低的终端可能出现无法加载应用、运行流畅度低等情况。
第二个，不同用户网络环境不一样，无法保证本地加载后的实际体验效果一致。
在天猫App3D冰雪派对中，这两个问题尤其突出。活动应用包大小将近有10G，在用户端本地需要RTX 2060显卡以上才能够流畅运行；在移动终端应用，会面临手机型号不一的问题，如果这个问题不解决，相当一部分手机用户不能流畅体验这一活动。为了摆脱用户终端的限制，陈坚提出了通过云端来完成部分的数据分发、下载和渲染工作。在这个契机下，超次元与阿里云的无影团队建立起合作。
无影云应用技术提供了一整套云应用在云侧运行的环境和端侧SDK，由SDK完成应用到端侧的流化显示。在冰雪派对活动期间，通过云应用，将大型3D应用云化，借助公共云的庞大算力资源，解放用户本地终端的算力限制。无影建立端云一体的流化协议，从代码层对画面内容、网络传输能力等进行了优化，实现了3D应用场景在任意终端的即点即用。
此外，无影针对冰雪派对活动建立一套多级的资源调度机制，保证用户在使用云上资源时做到就近接入，降低物理层面的网络延时影响，提升用户的体验。在这个基础上，应用了大规模实时弹性调度能力，做到一个用户的应用加载对应一份算力，避免冗余的资源浪费； 同时通过多级应用预热机制，可以缩短应用加载时间，实现了降本增效。
在业务层，无影还为超次元打造了业务管理后台，包含应用仓库、版本管理、云应用镜像、交付组管理，帮助超次元对云上资源进行集中管理，提高维护效率。



天猫App3D冰雪派对的“云+虚拟”底层技术架构

基于无影与超次元共同打造的“云+虚拟”活动模式，用户点击天猫App的活动页即可进入冰雪派对，只要有基础网络信号，就可在任意手机终端即点即用，并与其他用户和主播实现即时互动，摆脱了手机端配置的限制，既保留了画面的精细度，又能流畅体验丰富玩法。
对于品牌方来说，活动期间可以根据用户的反馈，实时调整场景内容或者活动玩法；全程通过无影云应用进行云上更新，只需在2~3个小时内即可实现全量发布，发布成功后，用户再次进入活动页就能体验最新内容和玩法，实现了快速迭代。从本次冰雪派对的加载转化漏斗看，通过云加载模式，90%以上的手机端用户都能加载进入活动，活动转化率相较于传统的端加载模式有了显著提升。
3D冰雪派对实践了从虚拟直播演唱会向消费元宇宙场景的拓展，陈坚看到，虚拟应用的迭代不能只针对表演者，而是落在如何让消费者体验更真实的交互互动。除了最基本的声音，还需要加入动作和表情，但受限于昂贵的动捕设备，目前无法普及应用。
“这是一个遗憾，也是我们未来发展的目标，从短期来说，可以加入任务玩法来提升互动性；从中长期看，可以通过AR/VR的适配来提升沉浸式体验感，当中面临解放算力的难题，这需要借助到无影的能力。”对此，阿里云无影团队在主流沉浸式设备都有轻量化要求的背景下，采用无影云应用加载的方式，实现应用在端上即点即开，降低本地负载，解放本地算力，并支持AR/VR等多端适配，为超次元这样的虚拟运营商提供云计算服务。
<hr/>“人、货、场”匹配，虚拟3D走向消费场景

无论是因为元宇宙的话题热度，又或是因为虚拟技术进步打开了营销场景的其他可能性，不少品牌商家开始试水虚拟人+虚拟空间+虚拟活动的模式。尤其是时尚品牌（以奢侈品行业尤为突出）、运动潮流品牌行业以及汽车行业。例如：NIKE借助Roblox游戏平台，创建了集团首个元宇宙场景 NIKELAND，用户可以参与不同游戏挑战、购买虚拟服饰、参与建设等。
“为什么越来越多商家接受这种互动体验模式？从用户侧看，元宇宙概念推广“教育”了市场，提升了用户对虚拟产品和服务的好奇心和接受度；从商家侧看，虚拟空间和虚拟活动的结合，让商家得以通过用户体验环节的设计传达更多的品牌信息，毕竟只靠概念热度的营销是不可持续的；从传播侧看，有赖于天猫App等电商平台的尝试和工具的提供，让更多商家对这种互动体验模式‘可接受’和‘可使用’。除此之外，跑得更前面的商家也在思考能否跳脱出单纯的营销用途，期望能够在元宇宙中建立起自己的私域流量运营阵地，结合虚拟空间做功能上的拓展，例如可以融入线下的打法，增加线上送礼、在线交易等，加强品牌与消费者的联系。”
陈坚看到，从2022年开始，虚拟产业链开始迈向规模化和商业化，从上游到下游，越来越多的服务商开始围绕元宇宙开发数字营销方案，其中90%主要提供数字产品。借由天猫App3D冰雪派对的成功尝试，陈坚判断：“最终元宇宙会往消费场景去延展。而完整的消费元宇宙是基于‘人、货、场’的集合来举办虚拟活动，而不是单独输出虚拟人，或者单独一个场景。”
超次元打造了虚拟空间活动应用——Vvorld，这是超次元战略级核心产品，支持跨终端和端云同步。用户以虚拟化身+多人实时交互方式，沉浸式参与各种虚拟活动。Vvorld与超次元自身的虚拟人产品数据打通，且可通过配套的UGC工具，打造数字资产，可进行发布、交易，可满足不同行业的多元需求。
这背后，阿里云无影，基于公共云托管为超次元提供应用程序虚拟化流式传输服务，实现多生态应用免部署与快速构建，应用即点即用，提供安全、易用、高效且低成本的云上应用管理与使用体验，解绑本地终端的限制，帮助更多行业低门槛搭建专属元宇宙空间，让每个用户都能够无门槛地进入虚拟世界。