业界首发丨网易云信虚拟人解决方案，首创客户端+云端双渲染技术
元宇宙，依然还在持续升温。 几个月前，坐拥全球 20 亿用户的 Facebook 高调更名改姓，宣布将元宇宙刻进公司长远的发展基因；普华永道给出预测，为2030年的元宇宙产业赋予了高达1.5万亿美元的市场规模；甚至前不久的春晚小品舞台上，沈腾也面对着全国观众发出灵魂一问：知道啥是元宇宙吗？… 凡此种种，无不展现着元宇宙独一无二的热度与魅力。 全民皆知的元宇宙究竟是什么？简单来说，可以将其理解为一个平行于现实世界的虚拟空间，用户能够以虚拟“化身”穿梭自如，构建自己的“王国”。此外，作为互联网的下一站，元宇宙也将颠覆社交、娱乐、办公、城市等生活生产的各个形态。 元宇宙放飞想象 核心问题亟待解决 毫不夸张地说，元宇宙彻底引发了资本圈和科技圈的热潮，引爆了下一个信息互联时代的想象，通过虚拟与现实的完美连接和互通融合，构建理想的虚拟世界。 但“再造一个世界”是个宏大的命题，难度远比想象的更高，需要解决的技术难题也更复杂多样。 网易云信认为，在构建元宇宙的过程中，“人”与“路”是最为核心的两个问题。 “人”指的是虚拟人，与现实世界中人类完成各项活动一致，在元宇宙世界，虚拟人代表了个体可辨识的形象和身份，也是各项生活生产活动的载体。“路”则是指通信技术，现实世界中，人们通过四通八达的交通路网前往想去的任何地方，而在元宇宙世界，通信技术便是最重要的底层基础设施，也是实现互联互通的必经之路。 虚拟与真实的鸿沟如何逾越？网易云信带来了良策。 网易云信握紧现实 正式发布虚拟人解决方案 针对上述亟待解决的两大核心难题，网易云信联合网易伏羲经过长时间的反复打磨验证，正式发布虚拟人解决方案。 该方案依托于网易云信强大的音视频传输、直播、即时通讯等能力及网易伏羲虚拟人技术，为各大行业与场景提供可靠的能力支持，助力构建全新的虚拟世界。可应用于沉浸式会议、虚拟主播、电商直播、数字人客服、元宇宙社交等多样场景，为用户提供更实时、更可靠的沉浸式体验。 网易云信虚拟人解决方案架构图 双渲染技术 满足不同场景所需 与市场上的虚拟人方案相比，该方案为用户提供了更加丰富、更加贴合市场的实现方式，同时支持客户端和云端双渲染技术方案，以满足不同客户和场景的实际需求。 具体而言，客户端渲染方案是在端侧将虚拟人模型数据解析，再通过网易云信自研的 NERTC 技术和 WE-CAN 传输网络将解析后模型数据传至远端，远端接收后重新渲染并输出虚拟人音视频画面。此方案可进一步降低企业带宽和虚拟人渲染成本。 而云端渲染技术则是在云端完成虚拟人的模型数据解析和渲染，无需借助额外的动捕设备即可将真人多种脸部表情和复杂动作高精度还原到虚拟人身上，可以支持喜怒哀乐、挤眉弄眼等丰富表情及点赞、比心、数字比划等复杂动作手势；同时可支持 AI 驱动的 3D 动画合成和渲染能力，用户可以根据输入的语音或文字，合成 3D 虚拟人物的口型表情、动作手势，口型完全匹配，整体自然连贯，符合节奏和语义，满足非真人驱动场景。 全链路服务 助力应用秒上线 网易云信联合网易伏羲提供了从虚拟人形象定制、虚拟人形象编排、虚拟人直播互动服务到虚拟人商业活动运营等全链路服务。企业客户可将符合要求的形象素材加载到虚拟人形象编排服务平台，从而实现一键捏脸、着装更换等能力，无需自行完成人物建模、原画设计、渲染引擎适配等繁杂工作，大幅降低企业开发成本，也为应用提供了更丰富多样的可玩性。 除此之外，网易云信虚拟人解决方案还具备以下六大优势： 01. 虚拟形象多元化 网易云信联合网易伏羲和超次元等，覆盖了卡通、二次元、写实等多元化风格的虚拟形象，可高精度还原表情和躯干动作，提供涵盖人物设计、3D制作、内容制作、IP运营、数字化周边、商业演出的全流程服务能力。 02. 终端准入低门槛 网易云信虚拟人解决方案仅需一台普通手机或具备音视频采集能力的终端即可畅玩体验，兼容市面上主流的智能手机，无需其他动捕设备，大幅降低了终端准入的门槛。 03. 接入方式便利化 网易云信虚拟人解决方案将虚拟人和音视频能力在技术层面深度结合封装，用户仅需对接一个 SDK 即可同时拥有虚拟人、RTC、直播等多项能力。相比于市面上其他虚拟人方案，用户不必再分多次单独对接，快捷便利的接入方式显著提升了接入效率。 04. 多平台 强适配 网易云信虚拟人解决方案目前已覆盖 Android、iOS、Web、小程序等多个主流平台，支持原生、web、unity 等开发框架，且平台之间全面互通，满足不同用户接入需求，具备强适配能力。 05. 低延时 高并发 针对元宇宙中必不可少的“实时互动”场景，网易云信 WE-CAN 全球智能路由网络可堪大用。 面对遍布全球的庞大用户、复杂多样的网络环境、良莠不齐的终端设备，WE-CAN 可稳定提供全球范围内毫秒级延时的实时互动能力，通过智能路由网络择优选择最佳路线，百毫秒内触达全球数百个国家和地区，为 99.9% 的通话提供无卡顿的音视频服务，完美支持虚拟人解决方案的媒体流、IM 消息、信令及通用数据传输。同时支持千万级高并发，让信息传输畅通无阻，让交流互动零距离。 WE-CAN 全球智能路由网络分层图 06. 首创720度空间音效 网易云信首创 720 度空间语音效果，并创新性地将其融入虚拟人解决方案，可根据虚拟人的空间方位呈现不同的空间声音效果。相比于通常的 360 度语音，720 度空间语音效果进一步丰富了垂直方向上的音频感受，同时结合语音收发端 720 度转向场景，即使在虚拟世界也能拥有真实世界般的通话感受和交流体验。 绝知此事要躬行 聚焦各个场景实践落地 好的方案需要不断的场景实践打磨才能更进一步，绝知此事要躬行，网易云信深谙此道。 目前，网易云信虚拟人解决方案已在诸多场景广泛应用，在网易伏羲研发的沉浸式活动系统“瑶台”、志在“让美好生活触手可及”的网易严选直播间、虚拟偶像及虚拟空间应用运营商超次元虚拟演出中，你都能看到来自网易云信的虚拟人“上岗就业”。 网易瑶台是网易伏羲打造的沉浸式活动系统，能够支持用户在构建的虚拟世界中一起工作、学习和会议，体验与众不同的线上活动。网易云信助力实现随时根据话题切换到私密小房间沟通的能力，同时保证接收者同时在多个房间收听聊天内容，此外用户还可以选择向任意房间中发布音频。 通过大型的虚拟场景，瑶台帮助企业级用户解决传统视频会议无法满足的多场景、多互动、重体验的诉求。 不久前举行的网易云音乐上市“元宇宙敲锣”就是在瑶台中进行的。网易云信为此次仪式提供稳定、可靠的音视频通话和直播能力，为用户打造了高沉浸感、高互动性的“云敲锣”体验。
