放大招！FACEGOOD突破新技术：数字人高精度实时面部捕捉，开发自己的数字人~

涓浗鍥㈤槦FACEGOOD

鐮斿彂鍑轰簡

瀵规爣鍥藉鐨勮鏁堝埗浣滄妧鏈疦UWA 4D

杩欓」鎶€鏈槸涓浗鏈€鏂拌嚜涓荤爺鍙戠殑

瓒呴珮绮惧害琛ㄦ儏鍔ㄧ敾鎶€鏈?/span>

鐩告瘮Ziva RT銆丮etaHuman锛孎ACEGOOD NUWA 4D涓€涓捐В鍐充簡缁戝畾銆侀┍鍔ㄤ袱涓妧鏈毦棰樸€?/span>

绠楁硶棣栨鍙戣〃浜?018骞碨IGGRAPH Asia Tokyo锛屽睘浜庢柊涓€浠ｈ〃鎯呭姩鐢绘妧鏈紝瀵规爣Digital Domain Masquerade,ILM SnapperSolver ,Weta Digital FDLS,Ziva RT绛夊厛杩涙妧鏈紝NUWA 4D 缁忚繃澶氬勾鎵撶（缁堜簬瀹屾垚浜嗕骇鍝佸寲骞朵簬杩戞湡寮€鍚痓eta娴嬭瘯锛岀畻娉曢厤濂楃殑杞欢鍙奆ACEGOOD SMART P2锛堣吘璁?NExT Studios鑱斿悎鐮斿彂锛夊弻鐩櫤鑳戒竴浣撴満锛堝浘3锛夊皢鍦‵ACEGOOD Avatary涓婄嚎銆?/span>

鍥撅紙1锛?nbsp;SIGGRAPH Asia Tokyo 2018,FACEGOOD JELO

鈥滀紶缁熻〃鎯呮祦绋嬫渶澶ч棶棰樻槸绾挎€цВ锛屽洜涓虹粦瀹氭槸绾挎€х殑锛屾紨鍛樿〃鎯呴噸瀹氬悜涔嬪悗浼氬嚭鐜版瘮杈冨ぇ绋嬪害鐨勮“鍑忥紝鍦ㄩ珮杩愬姩棰戠巼锛屼綆闇囧姩骞呭害鐨勫井琛ㄦ儏閮ㄥ垎涓㈠け杈冧负涓ラ噸锛屽洜姝や紶缁熺粦瀹氭槸绾挎€х殑锛岃櫧鐒舵湁浜涘叕鍙歌瘯鍥惧皢Blendshape锛岄鐐规帹鍒板洓浣嶆暟锛屼絾浣滅敤寰箮鍏跺井锛屽洜涓哄畠鍦ㄤ竴涓嚎鎬х┖闂撮噷闈㈡眰瑙ｈ〃鎯呮潈閲嶏紝鏉冮噸鏄竴缁寸殑锛屽畠鍋囪姣忎釜鏋侀檺琛ㄦ儏鐨勭粨鏋滈兘鏄浐瀹氱殑锛岃繖灏卞鑷磋〃鎯呯殑铻嶅悎涔熸槸鍥哄畾鐨勶紝浣嗘槸鐪熷疄浜虹被鐨勮〃鎯呭嵆渚垮仛鍚屼竴涓〃鎯咃紝姣忔鐨勫舰鍙樹篃鏄笉鍚岀殑锛岃繖涓宸槸delta锛岄珮绮惧害琛ㄦ儏浠跨湡瑕佽В鍐抽棶棰樺氨鏄妸闈炵嚎鎬х殑delta璁＄畻鍑烘潵銆傗€滷ACEGOOD鍒涘浜篔ELO浠嬬粛銆?/span>

鍥撅紙2锛変紶缁?D鎵弿绔?nbsp;LightStage

NUWA 4D鎶涘純浜嗕紶缁熻〃鎯呯粦瀹氾紝浠呬娇鐢ㄤ簡鏁板崄涓〃鎯呭熀锛岃繖鍦ㄤ紶缁熺粦瀹氫腑鏄笉鍙兂璞＄殑锛屾垜浠煡閬揗etaHuman鐢ㄤ簡600澶氫釜琛ㄦ儏鍩猴紝閭ｄ箞濡備綍鍦ㄤ袱浣嶆暟琛ㄦ儏鍩轰箣涓嬪畬鎴愰珮绮惧害琛ㄦ儏璁＄畻锛熸垜浠煡閬揅orrective Blendshape灏辨槸鎵撹ˉ涓侊紝涓昏鐩殑鏄负浜嗛噸寤洪潪绾挎€у井琛ㄦ儏銆傚湪缁戝畾涓婏紝NUWA 4D浠ヨ倢鑲夎蒋浣撴柟寮忚〃杈惧井琛ㄦ儏锛屽洜涓鸿倢鑲夌殑杩愬姩鏄粏寰殑锛屽洜姝ゅ彲浠ヨ繕鍘熺湡瀹炵殑闈炵嚎鎬ц〃鎯咃紝鐢氳嚦鐪艰璺熷唴鍢村攪鐨勭矘杩為兘鍙互瀹屾暣鍛堢幇銆傚緱鍒伴潪绾挎€цВ锛屾渶缁堢粨鏋滀互4D鏁版嵁杈撳嚭锛?D鏁版嵁鏄鏁ｉ潪缁撴瀯鍖栫殑鏁版嵁锛屾槸鏃犳硶鎿嶄綔鐨勶紝鍚庢湡鑹烘湳瀹舵櫘閬嶉渶瑕佺編鏈彲鎺э紝鐢辨NUWA 4D鏈€缁堝皢缁撴瀯鍖栫殑琛ㄦ儏鏁版嵁杈撳叆鍒颁簡琛ㄦ儏鎺у埗鍣紝鎵€浠ュ畠鐨勭粨鏋滃畬鍏ㄥ彲鎺э紝鍚屾椂鍙堝吋鍏?00%鐨勮〃婕旇繕鍘熷害锛屽湪姝ゅ熀纭€涓婅壓鏈鍙互杩涜鑹烘湳璋冧紭宸ヤ綔銆侼UWA 4D浠庣悊璁哄師鍨嬬殑鎻愬嚭锛屽埌鏈€缁堢绾跨殑瀹炵幇涓庤惤鍦扮粡鍘嗕簡4骞存椂闂达紝鏀诲厠浜嗚澶氶毦棰橈紝浠庢晥鏋滄潵鐪嬶紝鍦ㄩ珮杩愬姩棰戠巼锛屼綆杩愬姩骞呭害鐨勬瀬寰皬琛ㄦ儏鐨勮В绠椾笂杩戜箮瀹岀編锛屽湪杞綋澶у彉褰紝渚嬪鍢村攪璺熺溂鐨殑绮樿繛涓婁篃鍙互瀹岀編杩樺師鐪熷疄婕斿憳鐨勮〃婕斻€?/span>

鍙┛鎴存憚鍍忕郴缁?/span>

鍥撅紙3锛?nbsp;SMART P2鍙岀洰鏅鸿兘涓€浣撴満

鍦ㄥ疄闄呯敓浜у満鏅紝婕斿憳寰€寰€闇€瑕佸璺戣蛋鍔ㄥ仛涓€浜涙垬鏈姩浣滐紝闇€瑕佸尮閰嶅姩鎹曪紝鍩虹珯寮忔壂鎻忕珯婕斿憳琚洑绂佷簡 鍥撅紙2锛夛紝璧颁笉寮€锛岃烦涓嶅姩锛屾棤娉曞尮閰嶅姩鎹曪紝鍥犺€岄渶瑕佽〃鎯呮崟鎹変笓鐢ㄥご鎴存憚鍍忔満锛圚MC锛夈€?/span>

鈥淣UWA 4D绠楁硶铏界劧鍙渶瑕佷袱涓櫘閫氱殑RGB鎽勫儚澶达紝浣嗘槸瀵瑰抚鍚屾鏈夐潪甯搁珮瑕佹眰锛屽悓鏃惰€冭檻鍒板悗缁殑瀹炴椂瑙ｇ畻锛屾垜浠渶瑕佸湪鏈湴杩愯FACEGOOD SeattlePro锛岃繖瀵圭畻鍔涚殑瑕佹眰鏄潪甯搁珮鐨勶紝涓烘鎴戜滑鑱斿悎鑵捐NExT Studios鐮斿彂浜嗘柊纭欢銆傗€滼ELO琛ュ厖閬撱€?/span>

FACEGOOD鑱斿悎鑵捐 NExT Studios鍏卞悓鐮斿彂浜嗘柊涓€浠ｈ〃鎯呮崟鎹夌‖浠?SMART P2銆係MART P2鏄究鎼哄紡绯荤粺锛岄潪甯告柟渚跨┛鎴达紝瀵规瘮鍩虹珯寮忔壂鎻忕郴缁熷畠鍙互鍖归厤鍔ㄦ崟鍥撅紙2锛夛紝婕斿憳鍙互璧板姩銆佸璺戙€佽烦璺冪瓑銆係MART P2涓绘満锛堝浘3锛夌畻鍔涘己鍔诧紝鍦↖ntel庐 12浠ｉ叿鐫垮鐞嗗櫒鐨勫姞鎸佷笅锛岄噰鐢ㄧ簿搴︿负1080P鍙岀洰宸ヤ笟绾ф憚鍍忓ご锛屽嘲鍊煎抚鐜囬珮杈?40FPS锛屾彁渚涢珮绮惧害鍥惧儚閲囬泦锛屼繚璇佷簡鍥惧儚缁嗚吇锛岃繕鍘熷害楂橈紝涓斿湪楂樻俯銆侀珮婀跨瓑鏋佺鐜涓嬩篃鍏锋湁绋冲畾鎬э紱閰嶅悎浠PGA楂橀€熷悓姝ユ暟鎹噰闆嗚姱鐗囷紝鑳藉瀵瑰浘鍍忔暟鎹繘琛屽揩閫熷鐞嗗拰绮惧噯浼犺緭锛屽苟鍦≒C绔疄鏃跺憟鐜扮敾闈紝涔熸棤闇€鏍℃绛夋搷浣滐紝澶у箙鎻愬崌浜嗘媿鎽勬晥鐜囦笌璐ㄩ噺锛涘悓鏃跺伐浣滅淮鎸佸湪楂樺抚銆佺ǔ瀹氥€佽秴浣庡欢杩熺殑400涓?D鐐逛簯鏁版嵁璺熻釜銆佸浘浼犳妧鏈紝闈㈤儴琛ㄦ儏瀹炴椂鍚屾銆佹祦鐣呰繕鍘燂紝澶уぇ鎻愰珮浜嗘媿鎽勭殑鏁堢巼鍜岃川閲忋€?/span>

闈炵嚎鎬ц〃鎯呯粦瀹?/span>

鈥淣UWA 4D鍙渶瑕佷袱涓櫘閫歊GB鎽勫儚澶村師鐢熻緭鍑?D绋犲瘑鐐逛簯鏁版嵁锛屽悓鏃朵篃鍏煎浼犵粺缁戝畾锛屾柟渚胯壓鏈鍚庢湡璋冧紭銆傗€滼ELO琛ュ厖閬撱€傞潪绾挎€цВ闇€瑕佷粠鏍规湰涓婅劚绂讳紶缁熺粦瀹氾紝浠ヤ紶缁熺粦瀹氫负渚嬶紝Blendshape鐨勫彉褰㈣鍥哄畾浜嗕笅鏉ワ紝閭ｄ箞鍔ㄧ敾鐨勫彉鍖栫┖闂村氨琚檺鍒朵簡銆傞鍏堬紝鎴戜滑闇€瑕佷繚璇佹紨鍛樺湪Avatar涔嬮棿鐨勮宸敖鍙兘灏忥紝涔熷氨鏄眰瑙elta銆?/span>

鍥撅紙4锛夋皯鐢ㄧ骇3DMM涓嶧ACEGOOD 宸ヤ笟绾?DMM瀵规瘮

琛ㄦ儏鍔ㄧ敾鏈変袱涓毦鐐癸紝绗竴锛岄潪绾挎€х粦瀹氾紝灏藉彲鑳芥帴杩戠湡瀹炵殑杞綋鍙樺舰銆傜浜岋紝琛ㄦ儏鑲岃繍鍔ㄩ鐜囪窡杩愬姩骞呭害鐨勬祴閲忋€傚湪娴佺▼绗竴闃舵锛孨UWA 4D闇€瑕佸婕斿憳杩涜3D寤烘ā锛岄€氬父鍙渶瑕佷竴涓〃鎯呭熀銆傚緱鍒拌〃鎯呭熀涔嬪悗锛岀郴缁熻嚜鍔ㄩ噸寤洪珮绮惧害FACS锛岃繖閲孎ACEGOOD鎻愬嚭浜嗕竴绉嶅伐涓氱骇3DMM绠楁硶锛屽湪浜鸿劯鐨勪綆棰戠壒寰佷笂杩樺師搴﹀緢楂橈紝濡備笂鍥撅紙4锛夋墍绀猴紝姘戠敤绾у埆3DMM鏂规硶锛屽湪浣庨鐗瑰緛涓婂熀鏈笂鍏ㄩ儴涓㈠け浜嗭紝閲嶅缓鐨勭粨鏋滈潪甯稿钩鍧︼紝鏃犳硶婊¤冻宸ヤ笟绾ч珮绮惧害闇€姹傘€?/span>

鍥撅紙5锛夐鑲屼豢鐪熺郴缁?/span>

寰楀埌鍩虹琛ㄦ儏鍩轰箣鍚庯紝浣跨敤鑲岃倝琛ㄨ揪锛岀敤浜庤蒋浣撳ぇ鍙樺舰鐨勪豢鐪燂紝FACEGOOD楠ㄨ倢浠跨湡绯荤粺涓昏瑙ｅ喅杞粍缁囩殑澶у彉褰紝鎴戜滑鐭ラ亾浼犵粺3D瑙掕壊鍙湁钂欑毊锛屽唴閮ㄦ槸娌℃湁缁勭粐鐨勶紝鍍忔槸鑺瘮濞冨▋锛岃劯铔嬩竴鎹忔槸鐦殑锛岄鑲屼豢鐪熺郴缁熷氨鏄粠楠ㄩ鍒拌倢鑲夛紝鍐嶅埌鑴傝偑銆佺瓔鑶滐紝鏈€鍚庡埌鐨偆锛屼粠瑙ｅ墫瀛︿笂妯℃嫙鐪熷疄鐢熺墿鐨勫叏杩囩▼锛屽湪璁＄畻缁撴灉涓婃渶浼樸€?/span>

鐧句竾瀵嗛泦鐐逛簯閲嶅缓

鍥撅紙6锛?/span>

寰楀埌楂樼簿搴﹂潪绾挎€х粦瀹氫箣鍚庡氨瀹屾垚浜嗘祦绋嬬殑绗竴姝ワ紝鎺ヤ笅鏉ュ氨鏄〃鎯呰窡韪€傝窡韪繖涓€姝ヨ嚦鍏抽噸瑕侊紝闅剧偣鍦ㄤ簬绮剧‘娴嬮噺44鍧楄〃鎯呰倢鐨勭氦缁嗚繍鍔紝鏈€闅剧殑鏄偅浜涢珮鎸姩棰戠巼锛屼絾鎸箙闈炲父灏忕殑鑲岃倝缇わ紝渚嬪閭ｄ簺鍒嗗竷鍦ㄧ溂杞対鑲屽懆鍥寸殑杩愬姩鏄瀬鍏跺井寮卞張鑷冲叧閲嶈鐨勶紝杩欑洿鎺ュ喅瀹氫簡鏈€缁堝姩鐢荤簿搴︼紝涓轰簡鍙互绮剧‘娴嬮噺鑲岃倝杩愬姩锛孎ACEGOOD鐢?浜夸唤鏍锋湰璁粌浜嗕竴涓珮绮惧害璺熻釜AI锛屽彲浠ヨ鍦ㄨ窡韪笂鍋氬埌浜嗚窡鏃犲彲璺熺殑绋嬪害锛屼緥濡傚湪鍢村攪鐨勮窡韪紝鎵€鏈夋瀬闄愯〃鎯咃紝鐢氳嚦鍢村攪绮樿繛閮藉彲浠ュ噯纭窡韪€傗€滅偣浜戦噸寤虹畻娉曟湁寰堝锛屼絾閮芥槸姘戠敤绾у埆鐨勶紝涓昏宸紓鍦ㄨ〃鎯呰窡韪殑绮惧害锛屼负浜嗗彲浠ヨ窡韪槾鍞囩矘杩烇紝鎴戜滑闇€瑕佽窡韪〃鎯呰倢鑲夎窡鐨偆鐨勫彉褰紝鏈€鍚庡啀璁＄畻4D鐐逛簯锛岃繖涓暟閲忔槸鐧句竾绾х殑銆傗€滼ELO琛ュ厖閬撱€侳ACEGOOD 浠呬粎浣跨敤涓や釜鏅€氱殑RGB鎽勫儚澶村氨瀹炵幇浜嗗瘑闆嗙偣浜戦噸寤猴紝杩欎釜鎶€鏈湪琛屼笟涓篃鏄潪甯哥綍瑙佺殑锛屽悓鏃跺洜涓烘槸涓€涓弻鐩郴缁燂紝鍦ㄧ‖浠朵笂灏辫姹傚悓鏃惰窡韪袱涓棰戯紝瑙嗛鍋氬埌浜嗗畬鍏ㄥ抚鍚屾锛孲MART P2鍙湁0.01姣鐨勮宸紝璇樊瓒婂皬瑙嗛鍚屾搴﹀氨瓒婇珮锛岃繖鏍蜂竴鏉?D鏁版嵁灏辫秺骞虫粦銆?/span>

鍥撅紙7锛夛紙SMART P2婕旂ず鍥撅級

闈炵嚎鎬elta璁＄畻

鍥撅紙8锛夐潪绾挎€elta

鍙ｈ疆鍖濊倢鏄汉浣撴渶澶嶆潅鐨勮倢鑲夛紝瀹冩湁6涓彉鍖栫淮搴︼紝濡傚浘锛?锛夋墍绀猴紝璁＄畻鍓嶇殑鍐呭槾鍞囨湁鏄庢樉鐨勮宸紝璁＄畻涔嬪悗4D缃戞牸涓庡槾鍞囧畬缇庤创鍚堛€?D灏辫璁＄畻delta锛屼篃灏辨槸璁＄畻闈炵嚎鎬цВ锛孎ACEGOOD楠ㄨ倢浠跨湡绯荤粺鍦ㄦ浠嬪叆锛屽熀浜庤倢鑲夌郴缁熺殑浠跨湡缁撴灉淇敼椤剁偣浣嶇疆锛屽悓鏃朵繚璇佷簡淇敼缁撴灉绗﹀悎鑹烘湳瀹跺铏氭嫙瑙掕壊鐨勭編鏈瀹氾紝涓嶇牬鍧忓師鏈夎櫄鎷熼€犲瀷銆傚湪姝わ紝楂樼簿搴︾殑缃戞牸宸茬粡鐢熸垚锛孨UWA 4D閽堝瑙嗛杩涜閫愬抚3D閲嶅缓锛屾瘡甯ч兘鏄竴涓狾BJ鏂囦欢锛岃繖灏卞緱鍒颁簡鏈€缁堢殑4D鏁版嵁銆?/span>

鍦ㄥ疄闄呯敓浜у満鍚堝姩鐢诲笀闇€瑕佸鏁版嵁杩涜2娆¤皟浼橈紝NUWA 4D璁＄畻寰楀埌4D涔嬪悗鍙皢鏁版嵁闄嶇淮鍒扮敤鎴疯嚜宸辩殑缁戝畾绯荤粺锛屼负浠€涔堝彨闄嶇淮锛熶互200鐐筍SDR涓轰緥锛?D RAW鏈?0涓囩偣浜戯紝闄嶇淮涔嬪悗鍙湁200楠ㄧ偣锛岀簿搴﹂檷浣庝簡锛屼絾鏄潪绾挎€х殑閮ㄥ垎娌℃湁鎹熷け锛屽洜姝ゆ渶缁堢殑鍔ㄧ敾绮惧害鍩烘湰涓婅倝鐪间笉鍙锛屽洜涓哄彧鏈?00鏍归鐐癸紝4D鏁版嵁琚帇缂╋紝鍘嬬缉鐜囬珮杈?/500锛屼篃灏辨槸1甯?.14MB鐨勫師濮嬫暟鎹帇缂╁埌浜?.3KB锛屾崲鍙ヨ瘽璇达紝涓€鍒嗛挓鍔ㄧ敾60 * 30fps * 1.14MB = 2GB 4D鏁版嵁锛屽帇缂╁悗浠呭墿4MB锛屽姝よ繘鍏ユ父鎴忓疄鏃惰繍琛屽氨鎴愪负鍙兘浜嗐€?/span>

浠ヤ笅鏄疦UWA 4D娴佺▼瑙嗛馃憞