清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚

Xsens动作捕捉 2022-11-21 8576

姊︽櫒 鍙戣嚜 鍑归潪瀵?
閲忓瓙浣?鎶ラ亾 | 鍏紬鍙?QbitAI

鏉ヨ嚜娓呭崕鐨勭爺绌跺洟闃熷彂甯冧簡涓€娈佃棰戯細

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第1张

涓や汉鎵撶悆鐨勫姩浣滅簿鍑嗗張娴佺晠鍦拌鍙充笅瑙?/strong>鐨勭瑪璁版湰鐢佃剳鎹曟崏鍒般€?br>

浣嗘槸鎴块棿閲屾病鐪嬪埌鎽勫儚澶达紝涓や汉韬笂涔熷ソ鍍忔病绌挎埓浠€涔堣澶囷紵

鍗拌薄涓殑鍏ㄨ韩3D鍔ㄦ崟鐨勪竴濂楄澶囧拰鍦哄湴甯冪疆锛屽彲鏄繖鏍风殑锛?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第2张

鈻?/strong>鍏夊鍔ㄦ崟锛屻€婃渶鍚庣敓杩樿€呫€嬫媿鎽勭幇鍦?br>

鎴栨槸杩欐牱鐨勶細

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第3张

鈻?/strong>鎯€у姩鎹?br>

鏈€杞讳究鐨勪篃寰楁湁5銆?鏂わ紝浠锋牸渚垮疁鐨勫氨鏇撮噸浜嗚兘杈惧埌10鍑犳枻銆傜┛鍦ㄨ韩涓婂奖鍝嶅姩浣滅殑鐏垫椿鎬э紝鑰屼笖寰堝揩灏变細绱簡锛屽熀鏈棤娉曟棩甯镐娇鐢ㄣ€?/p>

瑙嗛涓殑瑁呭锛屽悗闈㈡爣璁板嚭鏉ユ墠鐪嬪埌锛屼袱浜鸿韩涓婂悇鑷彧鎴翠簡6涓?/strong>灏忓瀷鎯€т紶鎰熷櫒锛岃繕鏄?strong>鏃犵嚎鐨勩€?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第4张

鐜板湪甯傞潰涓婄殑VR璁惧涓昏鐢ㄧ殑鏄厜瀛﹀姩浣滄崟鎹夈€?br>

瑕佺煡閬揤R鍒氬嚭鏉ラ偅浼氫笉绠℃湁绾挎棤绾匡紝鏈€澶х殑闅滅鏄鍦ㄦ埧闂村懆鍥存憜涓?鍒?涓煴瀛愩€?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第5张

鍚庢潵绠€鍖栨垚浜嗗ご鎴磋澶囦笂鐨勬憚鍍忓ご鍚戝鎵弿鍛ㄥ洿鐨勭幆澧冨疄鐜板畾浣嶏紝鍔犱笂涓や釜鎵嬫焺涓婄殑鎯€т紶鎰熷櫒锛屽PSVR銆?br>

浣嗗姩浣滄崟鎹夌殑鑼冨洿灏卞彧鑳芥槸浠ュご閮ㄥ拰鎵嬮儴涓轰富锛岃吙閮ㄥ姩浣滀竴鐩存槸闅鹃銆傜Щ鍔ㄥ彧鑳藉湪鐢婚潰閲屽墠杩涳紝骞朵笉鑳藉皢鑵块儴鐨勫叿浣撳姩浣滃湪娓告垙涓〃鐜板嚭鏉ャ€?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第6张

鈻?/strong>VR娓告垙銆婂崐鏉″懡锛欰lyx銆嬩腑鐨勭Щ鍔ㄦ柟寮忎箣涓€

鎴栬€呭仴韬幆锛岀畝鍗曞湴妫€娴嬪埌浣犲湪鎶吙锛屽啀妯℃嫙鎴愭父鎴忎腑鍥哄畾鐨勮吙閮ㄥ姩鐢伙紝鎴栧€熺敤娓告垙涓殑浜ら€氬伐鍏枫€?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第7张

鑰岀幇鍦紝娓呭崕澶у鐨勬柊鏂规硶锛屽彲浠ュ疄鏃舵崟鎹夎烦璺冨拰韫茬埇锛屽抚鏁伴兘鏄?strong>90fps锛?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第8张

璺ㄨ秺闅滅锛岀敋鑷虫槸韬轰笅鎵撴粴閮芥病闂锛?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第9张

闄や簡鑳借窡韪汉浣撶殑鍏ㄨ韩鍔ㄤ綔锛岃繕鑳藉疄鐜板湪绌洪棿涓婄殑瀹氫綅銆傜敱浜庝笉闇€瑕佸浐瀹氱殑浼犳劅鍣紝闀胯窛绂荤Щ鍔ㄤ篃娌¢棶棰樸€?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第10张

涓庡厜瀛﹀姩鎹曠浉姣旓紝鎯€у姩鎹曡繕鏈変袱涓ソ澶勩€備竴涓槸涓嶆€曠幆澧冮殰纰嶇墿閬尅銆?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第11张

绗簩涓槸瀵圭収鏄庣幆澧冩病鏈夎姹傦紝澶滈棿涔熷彲浠ャ€?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第12张

闄や簡涓汉VR娓告垙澶栵紝鏂扮殑鎯€у姩鎹曟妧鏈繕鍙兘闄嶄綆鍟嗕笟鍔ㄤ綔鎹曟崏鐨勬垚鏈紝璁╁皬瑙勬ā鐨勫埗浣滃洟闃熶篃鏈夋満浼氱敤涓娿€?br>

鍦ㄦ父鎴忓拰鍔ㄧ敾鐢靛奖涓紝鍔ㄤ綔鎹曟崏鎽勫奖妫氭槸杩欐牱鐨勶細

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第13张

杩欐亹鎬曞彧鏈夊ぇ鍏徃鎵嶆壙鎷呭緱璧蜂簡銆?br>

闄や簡濞变箰澶栵紝鍔ㄤ綔鎹曟崏鎶€鏈湪鍖荤枟棰嗗煙涔熸湁搴旂敤锛屽彲浠ョ敤鏁版嵁鎸囧浼よ€呮洿濂藉湴杩涜搴峰璁粌銆?/p>

鍙屽悜寰幆绁炵粡缃戠粶

杩欎箞濂界殑鏂规硶鏄€庝箞瀹炵幇鐨勫憿锛熷師鏉ユ槸闈犳繁搴﹀涔犮€?/p>

鐮旂┒鍥㈤槦鍒嗛樁娈靛皢鍔ㄤ綔鎹曟崏鎷嗘垚3涓瓙浠诲姟銆傚厛浠庢儻鎬ф暟鎹畻鍑?涓富瑕佽妭鐐瑰ご閮ㄥ拰鍥涜偄鐨勪綅缃紝鍐嶇粏鍖栨垚鍏ㄩ儴23涓妭鐐圭殑浣嶇疆锛屾渶鍚庨€氳繃鍙嶅悜鍔ㄥ姏瀛?/strong> (IK)姹傝В銆?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第14张

鐢变簬棰勬祴杩炵画鐨勫姩浣滀笉浠呰渚濊禆鍓嶉潰鐨勮绠楃粨鏋滐紝杩樿鍙傝€冨悗闈竴灞傜殑缁撴灉銆傛墍浠ュ湪杩欎竴姝ョ敤鍒扮殑鏄?strong>鍙屽悜寰幆绁炵粡缃戠粶 (biRNN)銆?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第15张

鍦ㄧ┖闂村畾浣嶉棶棰樹篃鏄媶鎴愪袱閮ㄥ垎銆備竴涓槸鑴氫笌鍦伴潰鎺ヨЕ鐨勬鐜囧垎甯冿紝鍐嶇粨鍚堟牴缁撶偣鐨勯€熷害锛岀畻鍑哄湪涓栫晫鍧愭爣鐨勯€熷害锛屽悓鏍风敤鍒癛NN涓巄iRNN銆?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第16张

瀵逛簬涓嶅悓鐨勪换鍔′娇鐢ㄤ笉鍚岀殑鍏紑鏁版嵁闆嗚繘琛岃缁冿紝鍖呭惈300鍚嶅彈璇曡€呰秴杩?0灏忔椂鐨勫Э鍔垮拰绌洪棿浣嶇疆鍙傛暟銆?br>

涓庝箣鍓嶇殑鐮旂┒鐩告瘮锛屼换鍔℃媶瑙g殑鏂规硶鏈夊姪浜庣敤鏇村皯璧勬簮鑾峰緱鏇撮珮甯ф暟锛屽彲浠ヨ儨浠?strong>楂橀€熻繍鍔?/strong>鐨勬崟鎹夈€?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第17张

骞朵笖瀹炵幇浜嗗姩浣滄崟鎹夌殑鍚屾椂杩涜绌洪棿瀹氫綅銆?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第18张

涓嶈繃锛岃繕鏄湁涓ょ偣涓嶈冻銆備竴涓槸鍔ㄤ綔鎹曟崏鐨勬晥鏋滀緷璧栦簬璁粌鏁版嵁闆嗭紝瀵硅缁冮泦涓病鏈夌殑鍔ㄤ綔鏁堟灉灏变竴鑸€?br>

杩樻湁鍦ㄨ绠楄剼涓庡湴闈㈢殑鎺ヨЕ姒傜巼鍒嗗竷鏃讹紝鍋囧畾浜嗘帴瑙︽椂鑴氭槸鍥哄畾涓嶅姩鐨勶紝涓嶈兘閫傜敤浜庢粦鏉跨瓑杩愬姩銆?/p>

浣滆€呭洟闃?/h2>

鏈」鐩鏂囧凡琚绠楁満鍥惧舰椤朵細SIGGRAPH 2021鎺ュ彈銆?/p>

鐮旂┒鍥㈤槦鏉ヨ嚜娓呭崕澶у鍖椾含淇℃伅绉戝涓庢妧鏈浗瀹剁爺绌朵腑蹇冨拰杞欢瀛﹂櫌銆?/p>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第19张

寰愭灚鍥㈤槦鍓暀鎺堝洟闃燂紝绗竴浣滆€呬紛鏄曞畤銆?br>

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第20张

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第21张

椤圭洰鍦板潃锛?br>https://xinyu-yi.github.io/TransPose/

璁烘枃鍦板潃锛?br>https://arxiv.org/abs/2105.04605

鈥?瀹?/strong> 鈥?/p>

鏈枃绯荤綉鏄撴柊闂烩€㈢綉鏄撳彿鐗硅壊鍐呭婵€鍔辫鍒掔绾﹁处鍙枫€愰噺瀛愪綅銆戝師鍒涘唴瀹癸紝鏈粡璐﹀彿鎺堟潈锛岀姝㈤殢鎰忚浆杞姐€?/span>

鍏嶈垂鎶ュ悕 | 鑻变紵杈綜V鍏紑璇?/strong>

6鏈?7鏃ヨ嫳浼熻揪涓撳灏嗛€氳繃灞曠ず銆屽揩閫熸惌寤烘墜鍔胯瘑鍒郴缁熴€嶅疄渚嬶紝甯﹀ぇ瀹朵綆闂ㄦ銆侀珮鏁堢巼瀛︿範AI妯″瀷鐨勬惌寤恒€佽缁冧笌閮ㄧ讲銆?/p>

p.s 鎶ュ悕鍚庡彲鍏ョ兢鑾峰彇绯诲垪CV璇剧▼鐩存挱鍥炴斁銆?strong>PPT銆?strong>婧愪唬鐮?/strong>鍝

清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚  第22张


鐐硅繖閲?span>馃憞鍏虫敞鎴戯紝璁板緱鏍囨槦鍝︼綖

涓€閿笁杩炪€屽垎浜€嶃€併€岀偣璧炪€嶅拰銆屽湪鐪嬨€?/span>

绉戞妧鍓嶆部杩涘睍鏃ユ棩鐩歌~


The End