多人大空间训练仿真系统

Xsens动作捕捉 2023-05-09 4902

一、系统概述

基于系统仿真、虚拟现实、模拟器、图形图像、人工智能等技术,对战场环境、武器装备和作战人员进行精细化建模,构建逼近真实的立体战场空间,提供身临其境的沉浸式训练体验,利用先进的显示和传感器技术模拟受训人员的视觉、听觉等感官,让受训人员能够即时、灵活地与战场空间内的实体进行交互,从而达到通过反复试错来获取体验、积累经验的目的。

二、方案描述

对于实训场地需求,定位空间场地约140㎡(可自定义范围),内容基于Unity3D或Unreal引擎定制开发,训练中可支持多人联网(≥7人)进入同一内容场景进行训练。实训人员带上VR头显后可自由行走奔跑跳跃,在训练过程中,可以实时在VR训练场景中看到所有训练队员虚拟人物形象肢体形态、手指信息、武器信息,并且信息跟现实动作同步同比。

三、原理展示模块

1、沉浸式大空间多人作战原理展示:


多人大空间训练仿真系统  第1张

受训者带上头盔后,可在沉浸式训练单元内自由走动,完成训练单元。训练单元由中央控制台及附属设备组成,在中央控制台控制下,每个受训者可以共同实施一个训练项目,也可各自进行训练。中央控制台可以控制训练单元的启动、关闭、训练课目、训练进程、综合评定等操作。

沉浸式训练单元是由空间定位模块、动作捕捉模块、便携式工作站、头戴式显示器组成。

定位空间模块是由光塔、光塔控制器,网络模块构成,其工作原理如下所示:

(1)光塔控制器通过网线给光塔供电并进行数据传输。

(2)光塔控制器之间通过网线进行级联并数据传输。

(3)所有光塔控制器通过WLAN口与路由器的LAN口进行连接。

(4)路由器通过其他LAN口连接控制PC、便携式工作站通过WIFI连接路由器。

(5)这样光塔、光塔控制器、控制端电脑、便携式工作站等其他设备处于同一局域网下。

(6)STEP全身动作捕捉追踪器, STEP定位追踪手套经光塔的面光源和激光信号扫射后,将自己相对于光塔的角度和九轴信息打包,通过USB连接方式发送给便携式工作站。STEP定位枪则是由5G WIFI与动作捕捉相连接后进行数据传输。

(7)便携式工作站收取追踪器发送过来的数据后通过定位算法服务计算出追踪器的虚拟位置信息。

(8)IK算法收取追踪器位置信息后计算出人物姿态,并通过头戴式显示器显示出来。

2、定位系统原理概述:

定位系统是由发射端和接收端两部分组成:

发射端是由多个标准空间单元拼接组成,每个标准空间包含一个HUB和四个光塔,他们之间通过网线连接。单个空间HUB控制光塔的工作模式和工作状态,光塔根据HUB给出的信号在要求的时间点亮。多个空间通过HUB间的级联实现共同工作。级联时ID为0的HUB产生同步信号,其他的HUB不产生同步信号,而是直接使用HUB_0的同步信号。

多人大空间训练仿真系统  第2张

(1)发射端:包括激光扫描装置,过零信号发射装置,同步装置,中央控制单元

1)光塔:

发射端的光塔数量每个单元面积为4个,可无限级联单元。

光塔结构是双扫描方向,包含两个扫描模块,每个扫描模块包括激光发射器、反光镜、波浪镜、电机和面光源。

2)HUB:

每个单元定位空间中有一个HUB。

HUB的结构包括同步发射装置,光塔控制的通讯端口。

HUB内具有同步信号发射装置,可以发射同步信号,控制系统同步。

HUB通过自己的通信端口与其控制的各个光塔连接,达到控制各个光塔的工作方式

不同单元HUB之间的连接可以实现大空间无限扩展的定位,即将不同定位单元的HUB连接在一起,共同控制各个单元工作方式及工作状态,实现所有光塔的同步。

3)控制器:

控制器是用来连接HUB,通过程序实现对整个定位空间所有HUB及光塔的控制。

控制器可以实时配置整个工作组网的工作模式及状态。

控制器可以实时监控整个系统中各个光塔、HUB的工作状态。

(2)接收端:包括信号接收单元,定位计算单元

多人大空间训练仿真系统  第3张

1)追踪器:

追踪器中包括感光sensor,九轴,CPU,内存等。

追踪器上感光sensor的数量因所用定位算法不同而不同,可以有1个或者多个。

追踪器中的九轴用来计算姿态信息,在不同的算法中所起的作用不同,有时为整个系统提供姿态解算,有时用于遮挡情况下的辅助姿态解算,有时甚至可以没有九轴。

追踪器中感光sensor接收到激光信号后,可以利用其自身的CPU及内存解算自己的位姿信息。

3、动作捕捉说明:

(1)STEP 15点动作捕捉

多人大空间训练仿真系统  第4张

STEP 15点动捕是由15个追踪器组成。15点全身动作捕捉可以分为上半身动捕与下半身动捕:上半身动捕分为一个头部追踪器、一个背部追踪器、两个大臂追踪器,两个小臂追踪器,两个手部追踪器;下半身动捕分为一个腰部追踪器、两个大腿追踪器、两个小腿追踪器、两只脚追踪器。

全身动捕追踪器根据STEP定位算法计算出每个追踪器在虚拟空间中的位置信息;STEP IK算法在得到每个部位的虚拟位置信息后计算并生成虚拟人物姿态。

(2)STEP定位追踪手套

多人大空间训练仿真系统  第5张

此动作捕捉除可追踪定位人物姿态外,还可定位追踪手指姿态。手势交互是一个复杂的系统,手指由多个骨骼和肌肉组成,能做出复杂的动作;在实训仿真系统中,大量的交互需要使用手势来完成,所以手势交互系统非常重要;STEP定位手套通过布局在手指关节上的传感器,经STEP研发的程序算法,可以高精度地捕捉并计算五根手指的每一个细微动作。

4、单人穿戴装备展示:

单人穿戴装备是由沉浸式头盔显示系统、STEP全身动作捕捉系统、IK动捕系统、可穿戴马甲、手势交互识别系统、便携式可穿戴工作站、STEP定位枪几部分组成:

多人大空间训练仿真系统  第6张

沉浸式头盔显示系统:主要用于支持受训人员显示训练环境,提供高度沉浸感的虚拟训练场景显示功能。

STEP全身动作捕捉系统:主要用于追踪受训人员的运动位置,为受训人员提供在虚拟场景中的全身定位识别功能。

可穿戴马甲:可将所有装备集成并穿戴,完成战术动作演练。

STEP定位枪:主要用于受训人员的武器装备在虚拟训练中的体现。

手势交互识别系统:主要用于识别受训学员的手势动作,为虚拟训练场景提供虚拟学员的手势交互功能。

便携式图形计算系统:主要为受训学员提供虚拟场景的计算生成功能。

IK算法:主要用于识别受训人员的身体运动姿态,为虚拟训练场景提供虚拟学员的姿态功能。

The End