黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022

Xsens动作捕捉 2022-12-10 5844

黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第1张

CVPR锛圕onference on Computer Vision and Pattern Recognition锛夊嵆鍥介檯璁$畻鏈鸿瑙夊拰妯″紡璇嗗埆浼氳锛屾槸IEEE涓诲姙鐨勫叏涓栫晫鏈€澶х殑锛屼篃鏄渶鏉冨▉鐨勮绠楁満瑙嗚棰嗗煙浼氳锛屽湪鍥介檯涓婁韩鏈夌洓瑾夊苟鍏锋湁骞挎硾鐨勫鏈奖鍝嶅姏銆傜綉鏄撲簰濞盇I Lab閽堝瀹為檯涓氬姟涓殑瑙嗛鍔ㄤ綔鎹曟崏闇€姹傦紝鎻愬嚭浜嗕竴濂楀垱鏂般€侀珮鏁堢殑浜у搧绾ф墜閮ㄥ姩浣滄崟鎹夋柟妗堝苟鏁寸悊鎴愯鏂囥€奡patial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation銆嬶紝琚獵VPR 2022鎺ユ敹銆?/p>


黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第2张

鍥撅紙宸﹀拰涓級涓哄弻瑙嗚鎷嶆憚鐨勫浘

鍥撅紙鍙筹級涓烘父鎴忓疄闄呰鑹叉晥鏋?/span>


鍔ㄤ綔鎹曟崏鎶€鏈湪褰辫鍜屾父鎴忚涓氬凡寰楀埌骞挎硾鐨勫簲鐢紝鍏朵腑鏈€甯哥敤鐨勬妧鏈柟妗堟槸鍏夊鍔ㄤ綔鎹曟崏銆傚厜瀛﹀姩鎹曢渶瑕佹紨鍛樼┛鐫€绱ц韩鍔ㄦ崟鏈嶏紝骞朵笖鍦ㄨ韩涓婄矘璐村厜瀛︽爣璁扮偣锛屽湪閰嶇疆濂藉厜瀛﹀姩鎹曡澶囩殑鍦哄湴杩涜琛ㄦ紨鍜屽姩浣滃綍鍒躲€傚厜瀛﹀姩鎹曡澶囬€氬父浠锋牸涓嶈彶锛屽悓鏃惰繕闇€瑕佸浐瀹氱殑瀹ゅ唴鍦哄湴锛屼娇鐢ㄦ垚鏈拰闂ㄦ杈冮珮锛屽緢澶氬皬鍨嬪姩鐢诲伐浣滃鍙兘鏈涜€屽嵈姝ャ€傚鏋滃彲浠ヤ粠鎵嬫満鎷嶆憚鐨勮棰戜腑楂樼簿搴﹀湴鎹曟崏浜虹墿鍔ㄤ綔锛岄偅灏嗘槸鍔ㄧ敾甯堢殑绂忛煶銆?/p>


缃戞槗浜掑ūAI Lab閽堝杩欎釜闇€姹傚紑鍙戜簡iCap 鈥斺€?涓€娆句骇鍝佺骇鐨勮瑙夊姩浣滄崟鎹夊伐鍏凤紝鍙渶鐢ㄦ墜鏈轰粠涓や釜瑙嗚鎷嶆憚鍚屼竴缁勪汉鐗╁姩浣滐紝渚垮彲蹇€熼珮璐ㄩ噺鍦版崟鎹夊埌浜虹墿鐨勫姩浣滐紝寰楀埌楠ㄩ鍔ㄧ敾鏁版嵁銆?/p>

 

黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第3张


鐩告瘮浜庝紶缁熷厜瀛﹀姩浣滄崟鎹夋祦绋嬶紝iCap鏈変互涓嬩紭鍔匡細

1.蹇€熶骇鍑猴細鑳藉蹇€熶骇鍑哄姩浣滄暟鎹紝鏇撮€傜敤浜庢晱鎹峰紑鍙戯紝鏂逛究鍓嶆湡璇曢敊锛?/p>

2.闅忔椂闅忓湴锛氬彧闇€鍏夌収鏉′欢瓒冲璁╂媿鎽勬竻鏅帮紝渚垮彲闅忔椂闅忓湴鎷嶆憚瑙嗛锛屼骇鍑虹粨鏋滐紱

3.鑺傜害浜哄姏锛岃妭绾︽垚鏈紱


鍊煎緱涓€鎻愮殑鏄紝iCap涓嶄粎鏀寔韬綋鍏宠妭鏁版嵁鎹曟崏锛屼篃鏀寔鎵嬮儴鏁版嵁鎹曟崏锛孋VPR琚綍鐢ㄧ殑璁烘枃锛屽氨鏄痠Cap涓殑鎵嬮儴鍔ㄤ綔鎹曟崏鏂规銆?/p>


鐜版湁鐨勬墜閮ㄥ姩浣滄崟鎹夋柟娉曞ぇ閮ㄥ垎鏄皢鎵嬮儴淇℃伅鍜岃韩浣撲俊鎭?strong>鍒嗗紑鑰冭檻鐨勶紝鍗宠繖浜涙柟妗堢殑杈撳叆鏄崟绾殑鎵嬮儴瑙嗚淇℃伅銆傝繖鏍峰仛鐨勯棶棰樻槸锛屾崟鎹夊埌鐨勬墜閮ㄥ姩浣滃彲鑳戒細鍜屾墜鑷傚姩浣滃瓨鍦ㄤ笉鍖归厤锛屼笉鍗忚皟鐨勬儏鍐碉紝鍦ㄦ暣鍚堣繘鍏ㄨ韩鍔ㄤ綔鎹曟崏鏁版嵁鏃跺鏄撲骇鐢熶笉鍚堢悊鐨勫Э鎬併€傚彟澶栵紝鐜版湁鐨勬墜閮ㄥ姩浣滄崟鎹夋柟娉曞ぇ澶氶兘鍙€冭檻浜嗗綋鍓嶅抚鐨勪俊鎭紝鏈兘鑰冭檻甯ч棿杩炵画鎬э紝杈撳嚭鐨勫姩浣滃鏄撳嚭鐜版姈鍔紝涔熼毦浠ュ簲瀵瑰鏉傜殑鎵嬮儴鍔ㄤ綔鎹曟崏鍦烘櫙锛堟ā绯娿€侀伄鎸$瓑锛夈€傝繖浜涢棶棰橀兘瀵艰嚧鐜版湁鏂规姣旇緝闅句互鎺ㄥ悜瀹為檯搴旂敤銆?/p>


涓鸿В鍐崇幇鏈夋柟妗堢殑鐥涚偣锛岀綉鏄撲簰濞盇I Lab鎻愬嚭浜嗚В鍐虫柟妗堬紝璇ユ柟妗堢殑涓昏璐$尞鐐瑰涓嬶細


1.鑰冭檻鍒版墜鑷傚姩浣滃拰鎵嬮儴鍔ㄤ綔涔嬮棿鐨?strong>鐩稿叧鎬?/strong>锛岃璁℃ā鍨嬪悓鏃堕娴嬫墜鑷傚拰鎵嬮儴鍔ㄤ綔锛涢€氳繃鍒╃敤姝ょ浉鍏虫€э紝杈撳嚭鐨勬墜鑷傚拰鎵嬮儴濮挎€佷細鏇村姞鍚堢悊锛?/p>


2.閫氳繃涓や釜transformer妯″瀷鍒嗗埆鍦?strong>鏃堕棿鍜岀┖闂寸淮搴?/strong>涓婃彁鍙栫浉鍏虫€т俊鎭紝浣垮緱鎵嬭噦鍜屾墜閮ㄧ殑鐩稿叧鎬ц兘澶熸洿濂藉湴琚埄鐢紝涓庢鍚屾椂涔熻兘杈撳嚭甯ч棿杩炵画鐨勭粨鏋滐紱鍙﹀锛岃鏂囪繕瀹氬埗浜嗗悎閫傜殑鐩爣鍑芥暟浠ヨ幏寰楀噯纭€岀ǔ瀹氱殑杈撳嚭搴忓垪锛?/p>


涓嬪浘灞曠ず浜?strong>iCap涓墜閮ㄥ姩浣滄崟鎹夌畻娉曠殑鏁翠綋妗嗘灦鍙婃暣浣撶殑鏁堟灉锛岀洰鍓嶈绠楁硶宸叉帴鍏ヨ瑙夊姩浣滄崟鎹変骇鍝乮Cap涓紝骞舵寔缁府鍔╁涓父鎴忓伐浣滃杩涜鍔ㄤ綔璧勬簮杈呭姪鐢熶骇銆?/p>


黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第4张

鏁翠綋妗嗘灦


黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第5张

閮ㄥ垎瀹為獙鏁堟灉




娲诲姩棰勫憡

2022N.GAME宄颁細鐨?strong>鎶€鏈┍鍔ㄥ満涔熼個璇蜂簡缃戞槗浜掑ūAI Lab鐨勬妧鏈笓瀹惰繘琛屽共璐у垎浜摝锛屾杩庡ぇ瀹舵埑鍥炬煡鐪嬭鎯咅煈?/p>

黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第6张

鐮佷笂鎶ュ悕

黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第7张


宄颁細灏嗗湪缃戞槗娓稿銆丆C鐩存挱銆乥libli鐩存挱銆乴ook鐩存挱銆佸井淇¤棰戝彿銆佸井鍗氱洿鎾€佷竴鐩存挱銆佹枟楸笺€佸揩鎵嬫父鎴忎笂鍚屾鐩存挱锛?鏈?8鏃?4鏈?1鏃ワ紝鎴戜滑涓嶈涓嶆暎锛?/span>


黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第8张
黑科技!网易互娱AI Lab视频动捕技术iCap入选CVPR 2022  第9张

The End