服装学报蒋高明服装三维虚拟展示的现状与发展趋势2021年第4期

在服装三维虚拟试衣领域,国外已有许多学者对此进行研究,并开发了一系列服装虚拟仿真软件,取得了一定成就。

 服装精确的模拟技术,首次于1990年由瑞士日内瓦大学MIRALAB实验室联合开发,结合虚拟织物和人体建模、动态展示等技术,实现虚拟穿衣功能[6]。随后,他们开发了多个典型的虚拟试衣系统,如Virtual Try On[7]和Fit-me.com[8],以及基于人体模型构建服装的MIRACloth系统,能够通过交互设备实现动态穿着效果展示。

 加拿大研究人员开发了My Virtual Model(MVM)在线试衣系统,可根据用户身体尺寸数据如身高、三围等实现三维人体模型动态重构。与之相似,瑞典H&M服装公司也推出了网上试衣间[9]。为了使所选服装尺寸更加贴近消费者实际尺寸,一些个性化定制尺码推荐系统如The Right Size,Fit me 等[10]也相继问世,根据消费者尺寸进行纸样计算与尺寸推断,并根据消费者喜好等个人因素推荐合适的服装。服装的个性化定制,不仅给消费者带来视觉体验,还使服装更加贴近实际,使得虚拟穿着效果更加逼真。英国伦敦大学Bidynertics[11]也是将体型尺寸数字化,通过系统判断选择的服装是否与当前体型匹配。除了能够根据特定的尺寸进行服装定制,德国弗劳恩霍夫学会[12]通过三维扫描技术直接获取人体体型特征生成三维人体模型,根据1:1的人体尺寸推荐合适的服装。 通过对人体尺寸的匹配,能够使消费者快速获得尺寸对应的服装,并实现服装的即时模拟与虚拟展示。

1.2 国内研究现状

 国内对于服装三维虚拟展示的研究起步较晚,但近年来逐渐得到广泛应用。最开始的阿里淘宝、腾讯qq秀等,使用Flash展示服装搭配,以二维图片展示居多,真实感较低,无法全方位体现服装的立体效果[13]。随着全球最新3D科技、增强现实、体感技术的引进,2011年杭州森动数码科技发布了“3D互动虚拟试衣间”[14],减少了线下换衣时间,提高了空间利用率,减少大量人力。江南大学为解决文物难以保存并提供展览的问题,将服装三维虚拟展示与民间服饰融合,把民族服饰以逼真的形态呈现出来[15]。中国研究人员对于服装三维虚拟展示一直在深入研究中,并不断推进国内三维虚拟展示技术的发展。

 国内外现有的服装动态三维虚拟展示从三维人体重建、人体动态变形、三维着装模拟和服装动画模拟4个方面展开探讨。

2.1 三维人体重建

 目前针对三维人体重建的研究中,非参数化的扫描融合方法和参数化的模型匹配方法是最常见的(见图1)。以Kinect Fusion[16]为例,利用Kinect 相机采集深度图像和彩色图像,并将其转化为点云,通过对点云位姿估计和融合,得到整体点云。Dynamic Fusion[17]在此基础上加入非刚性变形估计,实现非刚性体的实时动态重建。Body Fusion[18]方法在Dynamic Fusion的研究基础上提出骨架嵌入式表面融合,增加了人体骨骼约束,利用图形节点和骨架之间的附加信息实现形变 [见图1(a)]。之后,他们提出Double Fusion[19],构建了双层表面表示模型,外层利用相机获取的深度信息进行融合得到人体表面,内层则根据人体外形和获得的关节点信息推测人体骨架模型[见图1(b)]。

图1 非参数化的扫描融合法

Fig.1 Nonparametric scanning fusion methods 

参数化的模型匹配法是基于三维人体模型数据库展开的。ANGUELOV D等[20]提出了SCAPE(shape completion and animation of people)人体模型数据库,学习人体姿势参数的线性系数,通过主成分分析法从SCAPE人体模型数据库中学习得到身材空间中各个基的系数。CHEN Y P等[21]通过结合形状建模和姿势变形来解决由于姿态变形与人体形状有关引起的不准确性。CHENG K L等[22]提出自动参数化人体重建,该方法利用回归分析的方法,在扫描距离数据和一些带注释的训练数据之间找到对应的关键点,用户的体形和姿势将在几秒钟内自动构建。

2.2 人体动态变形

 日常生活中人体复杂多变的姿势动作给虚拟仿真带来了一定困难。计算机需要对模型进行处理,构造具有真实感的人体模型。目前主要有3种方法对人体模型进行动态模拟:专业软件设计角色模型并驱动、骨骼驱动人体模型变形和基于统计样本的人体变形[23]。

 目前常用设计角色模型的专业软件有Maya和3Ds Max等,能够设计构造三维人体模型,建立三维人体骨骼关键点改变模型姿态,通过软件的蒙皮功能建立骨骼与模型表面网格顶点的关系。MAYA人体动画制作过程如图2所示。但使用商用软件制作人体动画造型,耗时长,效率较低。

图2 MAYA人体动画制作过程

Fig.2 Human animation production process by MAYA

与现有商用相似,BARAN I等[24]提出的骨骼直接驱动法为热传导法,通过热平衡方程计算骨骼对顶点的权重; 基于样本的骨骼驱动法[25-27]是在已有的人体动画模型的姿态样本基础上计算骨骼的权重(见图3)。以上方法使用线性关系对模型进行蒙皮,只考虑单个顶点,而忽略曲面属性。但人体表面以及骨骼之间的关系是非线性的,因此两者并不是完全匹配的。

图3 骨骼直接驱动基于样本法

Fig.3 Direct driving of bone-based on sample method 

随着对大数据研究的广泛开展,基于统计样本的人体变形方法的研究也在不断深入。ALLEN B等[28]将人体扫描数据和分布可变形关节模板匹配,通过相似关节角的样本模型插值得到新的模型(见图4)。除此之外,类似的还有姿态空间变形方法[29],该方法可对人体模型进行任意变形,并且无需对人体不同部位单独处理。从样本得到模型则是利用径向基函数进行线性插值,实现人体骨骼位移和姿态形变[30]。

图4 人体扫描数据与关节模板匹配

Fig.4 Human scanning data and joint template matching

2.3 三维着装模拟

 三维着装模拟主要是针对面料的模拟,可分为几何模型、物理模型和混合模型3类[31]。

 几何模型主要利用数学函数和几何变换的方法,只能简单模拟布料外观,而忽略了布料本身属性。在WEIL J[32]对几何方法初步探索的基础上,HINDS B K等[33-34]与NG H N等[35]利用纯几何方法对特殊情况下的布料变形进行仿真。之后,HADAP S等[36]将几何与纹理结合模拟布料的褶皱。几何模型方法虽然计算简单,效率高,但只能简单模拟布料外观,而忽略了布料本身的属性,如布料质量、弹性等。

 物理模型方法主要包括有限元法、弹性变形模型、粒子系统以及弹簧质点模型等。基于有限元的服装模型如图5所示。ASCOUGH J等[37]用有限元网格来表示织物,利用几何刚度分析大位移,模拟出服装被穿着时的虚拟动态效果 [见图5(a)]。ETZMUSS O[38]利用有限元法建立了具有黏弹性和高度挠性的曲面模型。该方法可将非线性弹性问题转化为平面线性问题,适用于柔性织物建模,对织物作出快速且精准的变形模拟[见图5(b)]。

图5 基于有限元的服装模型

Fig.5 Garment models based on finite element method

 弹性变形模型[39-40]考虑了布料的物理属性,并将动力学理论应用到布料的离散粒子结构和弹性模型中,构建高度真实的布料仿真系统。基于有限元的面料模型如图6所示,在连续体力学模型基础和Kirchhoff-Love薄壳理论基础上,YUAN W R等[41]提出无网格模型参数化的织物仿真方法,利用共旋法解决织物较大的形变问题[见图6(a)]。但该方法计算量大,仿真效率低。JIANG C等[42]同样利用连续介质力学建立了物理模型,将布料当作沙子等连续物质,但是仿真细节多,计算量巨大,不适用于实时性与精度高的布料模拟[图6(b)]。

图6 基于有限元的面料模型

Fig.6 Fabric models based on finite element method

2.4 服装动画模拟

 基于数据驱动的人体-服装动画模拟是实现真正意义上的在线3D虚拟服装动画展示的关键。此模拟需要考虑人体动作序列预测、人体运动过程中关键帧的提取、前后帧对当前帧的影响和服装动态变形等。HARVEY F G等[43]探讨了用于半监督序列分类和重建的递归编码器多解码器神经网络体系结构,可以搜索和快速标记新的序列,比较人体运动过程中特征点与地面真值(见图7)。LI Y R等[44]设计了一种新的卷积层次模块,将该模块作为编码器,构建了一个自动编码器系统(见图8)。该模型能够有效地提取时间和空间信息,大大降低了模型的计算复杂度和规模。

以上方法虽然能够有效地从运动捕获数据中提取关键帧序列,但是具有较大重建误差,计算耗时较长。XU C X等[45]提出了一种新的关键帧提取算法和一种基于多重二项式拟合的运动数据重建方法(见图9),进一步降低了运动序列重建的误差,不足之处为关键帧压缩率较大。

 获取人体运动序列并重建人体模型后,需要根据动态人体将服装模型进行动态拟合。YAN Y F等[46]提出了一个虚拟试穿系统的框架,将服装模型调整到身体的外部,并将骨骼嵌入身体内部。身体网孔的任何变形都会导致衣服网孔的相应变形,运用运动数据来驱动骨骼、身体网格和服装网格,并创建穿着人体角色的实时动画,如图10所示。BERTICHE H等[47]提出了一种基于无监督深度学习的服装动画方法(见图11),可自动获取姿态空间变形和服装形变,具有更广泛的适用性,但是没有考虑到多层面料的碰撞检测问题。

图7 人体运动过程中特征点与地面真值的比较

Fig.7 Comparison of the true value between the feature points and the ground in the process of human movement

图8 卷积层次自编码器模型的架构

Fig.8 Architecture of convolutional hierarchical self encoder model

图9 关键帧提取与运动重构

Fig.9 Key frame extraction and motion reconstruction

图10 虚拟试衣动画

Fig.10 Virtual animation for garment

图11 基于无监督深度学习的服装动画原理与结果

Fig.11 Principle and results of garment animation based on unsupervised deep learning

 服装三维虚拟展示综合了大量应用技术,其中存在的一些局限性,限制了服装三维虚拟技术的超前发展。

 由于织物是柔性体,服装所展现的物理特性是动态的,如悬垂性、服装褶皱等,给模拟服装实际穿着的动态效果带来了一定阻碍。这涉及柔性织物的力学测试、服装三维建模、碰撞响应等技术,且穿着厚度与服装层次紧密相关,这些都给服装三维虚拟仿真带来困难。目前随着计算机技术的提升,对于面料性能的仿真也有不少的研究,但如何更为精确细致地表现服装的褶皱、皱纹等非线性和大变形性特点,仍需进行深入探索。

 服装三维虚拟展示中涉及人体动画模拟,因此需要对服装以及人体动画模拟的计算量进行简化。在三维虚拟展示过程中,不仅要考虑服装与动态人体模拟的真实性和精确性,还要考虑运行设备的性能、仿真运行时间和速度,确保服装三维虚拟展示系统的精确度和效率之间达到平衡。

 服装三维虚拟展示通过计算机技术对服装设计与展示给予技术辅助,改变了传统线下试穿的展示模式。它是信息技术、纺织技术、服装技术等多学科融合发展的产物。该技术的广泛应用,将对服装的设计、开发、销售等流程产生重要影响,促进服装行业快速发展。

（参考文献见原文）