三次创业研发快速动画技术 他为央视春晚实时植入虚拟形象 获投3000万

Xsens动作捕捉 2023-04-27 3026

三次创业研发快速动画技术 他为央视春晚实时植入虚拟形象 获投3000万  第1张

◆ 纪智辉是典型的技术咖。

文| 铅笔道 记者 邵毛毛

?导语

屏幕中的二次元少女一个转身,双马尾在空中扬起又落下。她眨眨眼微笑起来,有些俏皮。

屏幕外则是身着动作捕捉服、表情捕捉头盔和数据手套的表演者,随着他的旋转跳跃,少女也在同步舞蹈。这是世优科技实时动画技术的应用之一“虚拟工场(Puppeteer)”产品(包含硬件和软件)所实现的效果。

三次创业研发快速动画技术 他为央视春晚实时植入虚拟形象 获投3000万  第2张

◆ 实时生成动画

为研发此技术,纪智辉已是第三次创业。2004年,风口未到;2012年,技术已成型,但合伙人2014年意外去世;2015年,他成立世优科技,这才正式量产“虚拟工场”及相关产品。

如今,公司已为央视2017年春节联欢晚会、CCTV5体育频道《豪门盛宴》等节目实时植入虚拟角色,并为广电行业提供硬件设备、互动节目制作与技术支持等服务。

注: 纪智辉承诺文中数据无误,为其真实性负责,铅笔道已备份录音速记,为内容客观性背书。

漫长另类的创业故事

纪智辉清楚地记得,老V是在2014年12月24日去世的,那天正是平安夜。

两人亦师亦友,在他的叙述中,老V是个颇具传奇色彩的人物,这位麻省理工计算机方向的博士不仅能力出众,曾参与多部国际知名电影拍摄制作,还颇有江湖义气,知交遍布。

或许是被对方的性格所感染,也或许是身为技术咖对有挑战性研发天然的向往。当老V在2011年提出想自主研发基于动作捕捉技术研究影视动画快速制作方案时,纪智辉便点头同意了。

其实,两人早已在做相关方向的研究。时间追溯到2003年,存着挖人心思的老V前往纪智辉的第一个创业公司应聘。相识之后,他又不遗余力地说服纪建立中国版贝尔实验室,对标国外研究先进技术,其中便涉及有关动作捕捉、图像分析、数据挖掘、知识工程等领域的探索尝试。

这个有10余位博士和博士后的实验室团队不以盈利为目的,加之当时技术和市场都处于早期阶段,结果难逃难以为继的命运。直到2010年,因科幻电影《阿凡达》的上映,基于动作捕捉的新动画制作技术开始受到市场追捧。

仿佛预见到虚拟现实在未来的爆发,两人又将之前各奔东西的实验室成员召集起来,欲研发与现行技术不同的高效动画生产体系。2012年初公司成立时,老V把控大方向、负责融资及对外协调等事务,纪智辉则带领技术团队搞研发,分工正好。

但身为控股股东的老V离开后,公司群龙无首,前途渺茫。眼看着人心离散,想要继续研发的纪智辉便于2015年4月,带领团队部分人员独立出来,创立世优科技。

实时、快速动画生成技术

起初,纪智辉想独立的原因是不想让之前的工作白费,“再那样搞下去事情肯定会黄,这当然不行”。但真正另建公司之后,他才发现事情可能没那么简单。

因员工的竞业禁止和技术专利方面的问题,世优科技初成立时不能再从事快速动画技术及广电方向的研发与项目应用。于是,团队只能转而开发另一款面向C端市场的智能儿童伴读硬件, 通过图像识别及动作捕捉可实现任意纸质绘本图书的智能伴读与教学互动 , 给纸质图书教材虚拟出一位老师形象 。“产品底层技术涉及领域和之前的方向有相通之处,均涉及图像分析处理方面算法。”

直到2015年10月,纪智辉与前公司达成协议,获得技术与竞业禁止授权后,世优科技又将快速动画生产技术纳入公司业务范畴。

实际上,世优科技的快速动画生产技术框架在当时已基本搭建完成,制作流程也已跑通。这个过程虽现在描述起来简单,但当时为把理论落地,团队还是花费了不少功夫。

传统的二维动画制作需画师手工完成,工作量巨大且成本极高。启动项目时,他们打算以实时动作捕捉技术为基础,并同时支持全部数据录制与后期精修以快速制作动画。

但要做到实时,只用类似于好莱坞电影制作时使用的动作捕捉技术自然不够。他解释说,影视行业一贯的做法是先穿着动作捕捉服录制骨骼数据,然后将数据输入电脑系统中计算,并经过人工处理后放入专门的生成软件如Maya中,与已经制作好的三维形象对应起来,不合适的地方需人工调整,最后进行渲染。于是,几个月就过去了。

三次创业研发快速动画技术 他为央视春晚实时植入虚拟形象 获投3000万  第3张

◆ 技术的实际应用

而且“再做一个阿凡达那样的技术我们觉得没意思,要干就要领先他们一步”。纪智辉等人打算将所有中间环节压缩为实时同步进行,即身着全套动作捕捉设备(表情、身体、手指)后可立刻驱动任意虚拟形象形象,并实时同步所有动作。这至少在理论上是可行的,“数据肯定存在,我们只要再做一个实时驱动、动画修正、外加高质量的实时渲染系统即可”。

可难点就在这里。哪怕此前实验室阶段曾经做过稀奇古怪的研究在此时都派上了用场,例如曾经有小组专门做游戏开发,如今团队便利用已有的游戏底层代码制作出最终的动画生产和渲染引擎;此前的图像分析、动画变形、碰撞处理算法也可使用。

但在实际操作时,团队曾3个多月没有任何进展,以致纪智辉一度对研发可行性产生了怀疑。

问题在于,从荷兰xsens公司买来动捕服后虽能获得数据,但团队自己读不懂,也无法让研发的驱动引擎读懂。就像非要用TXT格式打开Word文档,因使用的进制和解析算法不同,团队的引擎也无法读取专门适用于Maya软件的非实时数据。“对我们来说就像一堆乱码。”

实在没有其他的办法,纪智辉等人将动捕服套在了人偶模型上,然后一点点移动模型四肢以观察数据的变化情况,通过逆向思维的方法摸索着调试算法。“就是靠运气在试。”

三次创业研发快速动画技术 他为央视春晚实时植入虚拟形象 获投3000万  第4张

◆ 世优科技采用无贴点面捕技术

虽然成品有些粗糙。骨骼数据还未经清洗和优化,使最终呈现的动画不太自然;动捕服是采购的,而表情头盔实际上就是将摄像头用铁棍固定在了一个自行车头盔上来采集数据;没有数据手套实时捕捉手部数据,人物的手就一直是僵硬的。但好在技术流程已经跑通,能基本实时跟随呈现动作画面,接下来似乎只剩优化与完善。

首先要自己研发硬件, 当时全球仅有几家公司的动捕设备并不适合做实时动画。“关键也太贵了,一套衣服70多万元、一双手套30多万元,不就是几块传感器吗?原理很简单。”因此,被逼无奈的他们就自己研发数据手套、表情头盔等硬件,之后研发相对来说没那么精细的动捕服也是自然而然的事。其次,为使呈现画面更自然流畅,团队又将软件系统进行升级。

为广电客户打造成套解决方案

此时,这群技术宅们大多数时刻还沉浸在“又攻克一个难关”的喜悦中,“商业模式不清晰?没事,只要能维持生存就行”。找上门来的客户大多是老V的朋友,那些电视台导演听闻有此类技术,表示愿意尝试。

技术首次实际应用是在一次新媒体的晚会直播当中,当时因延参法师到场,团队为节目组制作了虚拟猩猩形象与其互动。纪智辉说,效果还可以,有100~200毫秒的延迟,但用户在手机上观看基本感觉不到,如今的延迟时间基本控制在了30~40毫秒左右。

此后,团队又先后为东方卫视“今晚80后秀”、CCTV“星光大道”制作虚拟互动形象。但在公司独立之后,纪智辉意识到探索商业运营的重要性,“不然公司就是在畸形不健康的发展”。

三次创业研发快速动画技术 他为央视春晚实时植入虚拟形象 获投3000万  第5张

◆ 《豪门盛宴》中的实际应用

基于之前的合作案例,他打算为广电行业提供硬件或技术支持服务。“我们的优势在于提供完整的实时动画方案及高性价比,适合类似于电视台、新媒体等有频繁制作需求的专业级客户。”

可没有了老V的人脉关系,该从哪个渠道打入呢?此外,广电制定有严格的技术标准,包括延时、帧率、清晰度等,普通公司冒然进入较有难度。纪智辉想到了引入外部投资,通过此前认识的朋友,他开始与捷成世纪接触,对方是专为广电体系提供技术服务的上市公司,堪称该领域龙头并热衷于投资音视频生态圈创新项目。

几次沟通后,双方达成合作与融资意向,世优科技提供包括硬件和软件系统在内的整套“虚拟工厂”产品,捷成世纪负责市场推广与销售。同时,世优科技完成3000万元A轮融资,由捷成世纪领投,其他投资者跟投。

在2016年与广电客户合作中,世优科技积累了大量实际案例,如为央视制作节目《大路说长征》,为浙江卫视《食在囧途》植入虚拟形象,合作湖南卫视为《次元星计划》制作王思聪和林更新的虚拟形象等。

过程中,世优科技一方面继续优化整套“虚拟工场”设备,将动捕服、面捕头盔、数据手套等硬件设备进行工业化设计,并投放量产;另一方面,结合摄像录制、后期处理等环节,团队将软件系统完善,包括动捕、实时渲染、快调、摄像机跟踪、后期编辑5 个子系统。同时,纪智辉也梳理出了公司的主要盈利方式。

简单来说是“卖设备、提供服务”。除提供动捕服(传感器精度0.2度)、表情头盔(拍摄速度60帧/秒)、数据手套等硬件设备及实时动画技术涉及的软件架构 (可兼容市场主流动捕设备)外,团队还提供节目、虚拟形象制作技术支持和制作服务。

三次创业研发快速动画技术 他为央视春晚实时植入虚拟形象 获投3000万  第6张

◆ 整套“虚拟工场”产品

通过各小组分别对接不同客户,公司可同时操作多个项目,单个项目周期1~2个月不等,客单价约20万~200万元。去年,世优科技已实现营收800万元。

有了央视、浙江卫视等广电客户作为标杆案例后,纪智辉打算将客户领域扩展到影视动漫制作、互动广告、教育等行业。值得一提的是,他计划将教育产品部门发展为独立子公司,专门负责已上线的儿童智能伴读产品“大眼鹿”的运营推广工作。

当然,纪智辉明白,身为技术型公司,单独开展市场运营工作或许有些吃力。他计划以多种合作方式,寻找优质代理商与战略合作伙伴。

/The End/

编辑 付文学 校对 李阳

如需转载文章请联系铅笔道微信客服号:铅笔道大芯芯(微信id:qianbidao2017)获取授权资质,否则我们将依法追究相关责任

The End