[LiteratureReview]M2DGR A Multi-enor and Multi-cenario SLAM Dataet for Ground Robot

出处：ICRA & RAL 2022，一作Jie Yin，上交邹丹平老师课题组（Citations：2）。

Paper：https://arxiv.org/pdf/2112.13659.pdf

Github：https://github.com/SJTU-ViSYS/M2DGR

M2DGR简述：M2DGR是由地面机器人收集的新型大规模（large-scale）数据集，具有一套完整的传感器，包括：六个鱼眼RGB相机和一个指向天空的 RGB 相机、一个红外相机、一个事件相机（ event camera）、一个视觉惯性传感器（ VI-sensor)、惯性测量单元 (IMU)、激光雷达、消费级全球导航卫星系统 (GNSS) 接收器以及以及带有RTK（real-time kinematic）信号的 GNSS-IMU 导航系统，这些传感器都做了同步和校准；ground truth通过动捕设备、3D激光跟踪器和RTK接收器获取；该数据集包含室内和室外环境在内的不同场景中捕获的 36 个序列（约 1TB），包含大厅、电梯、走廊和道路等场景；作者在 M2DGR 上评估SLAM的SOTA方法，结果表明现有解决方案在某些情况下表现不佳。

笔者评价：M2DGR是一个定位在多传感器融合SLAM方向的数据集，相关的接口设计使用起来也是非常方便的，当然有相关的问题也可以很方便的和作者直接交流；制作数据集是一件看似回报很大（指Citations以及社区影响力），但实际上非常繁琐的事情，邹老师组历来就有自己制作数据集的习惯（貌似从成名作Coslam起），很多Paper的带有xxx datasets 的Contribution，M2DGR是邹老师课题组发布第一个独立的数据集项目（可能也算是满足邹老师一个心愿了，我个人乱猜的hhh），最后再次感谢M2DGR的作者为SLAM社区做的贡献！

Introduction

Motivation：（学习学习怎么讲故事 =-= ）

• 场景需求：机器人需要在室内和室内外混合场景中可靠地工作，现有的SLAM方案在实际问题上常常表现不佳，比如：弱纹理场景，长走廊或开阔区域，不寻常的动作，进入电梯等，这些失败案例促使构建一个包含更多实际场景的数据集以促进 SLAM 研究。
• 其他相关数据集：大多数现有的 SLAM 数据集都是为自动驾驶或空中机器人设计的，这些数据集并不是最适合开发和评估地面机器人算法的，例如自动驾驶速度快，空中机器人的数据集仅包含少数特定传感器或特定场景，地面机器人经常面临挑战场景，比如进入电梯或完全黑暗，或者从室外到室内，这些情况很容易使现有的 SLAM 方法失败，而它们很少包含在现有的 SLAM benchmark测试中。

Contributions：

• M2DGR是一个具有丰富传感器套件的地面机器人的large-scale sequences，其中包括六个环视鱼眼相机、一个指向天空的鱼眼相机、一个 VI 传感器、一个事件相机、一个红外相机、一个 32线激光雷达、一个 IMU 和两个 GNSS 接收器；M2DGR是第一个传感器那么丰富的地面机器人导航的 SLAM 数据集。
  
• M2DGR记录了在实际应用中常见的具有挑战性的情况下的轨迹，例如进入电梯和完全黑暗，以前的数据集是没有这种情况的。
  
• 提出了一个综合benchmark ，评估了各种现有SLAM的SOTA方法，并分析了它们的特点和缺陷。
  

Related Work

A. SLAM with different sensors

纯视觉的SLAM方案在弱纹理和低光照的场景下难以work，LIDAR SLAM在长走廊（这个应该是因为运动的时候每一帧的点云都是相近了，所以无法正确匹配）、高度动态运动和雾天场景方面也存在问题，所以多传感器融合是大趋势。

• a) Multiple cameras：多相机比单目或双目具有更广阔的视场，可以提高动态场景的鲁棒性；全景SLAM是另一种开源的全向SLAM系统，声称即使在高动态的环境中也能达到厘米级的精度。
  
• b) Thermal-infrared cameras：热红外相机具有在可见光谱之外的感知能力和对环境变化的鲁棒性，在雾、烟、黑暗等能见度较低的环境中有较高的能见度。
  
• c) Event cameras：事件相机测量像素亮度的变化，具有低延迟、低功耗和高动态测量范围的特点。
  
• d) GNSS：GNSS可以实现高精度的户外定位。
  

B. Existing benchmark datasets

• a) Datasets for ground robots：大多数现有的SLAM数据集中在自动驾驶（KITTI，Urbanloco，Brno urban dataset）或UAVs（EuRoc），只有少部分数据集是针对地面机器人的；
  
• b) Datasets with multiple cameras：Lafida数据集包含头盔上的三个鱼眼摄像机，但其序列的最大记录时间太短，不适合长期评估(通常超过20分钟)；NCLT[36]数据集使用地面机器人上的全向摄像头以5Hz的帧率捕捉校园中的图像，但是帧率太低，overlap太少，不适合SLAM评估；Nuscenes，Waymo和A2D2 用多台相机收集360°的图像，但是没有groundtruth。
  
• c) Datasets with thermal-infrared camera：Brno Urban数据集记录了一辆汽车[28]上的红外摄像头信息，KAIST D/N数据集从双目相机和汽车上的热红外相机以及32线激光雷达收集数据，但是目前还没有公开的SLAM数据集包含室内场景中红外摄像机的数据。
  
• d) Datasets with event Camera：[42]使用事件摄像机收集房间内外动态和静态场景的事件，但是该数据集的记录时间太短，无法可靠地评估SLAM算法的性能；Interiornet数据集模拟了RGBD、IMU、双目相机和事件相机，但是虚拟场景和真实场景之间存在差距。
  
• e) SLAM datasets with GNSS：包含原始GNSS信息的SLAM数据集非常少，UrbanLoco数据集使用Ublox M8T收集原始GNSS数据，并使用鱼眼相机捕捉天空，但没有公布相机的数据。
  

总结：本节回顾了目前主流的SLAM数据集，并分析了他们的局限性（见表1），从表中可以看出，目前迫切需要一个场景丰富、传感器信息完整的数据集来进一步研究地面机器人SLAM算法。

M2DGR DATASET Overview

A. Acquisition platform

地面机器人结构和设备安装位置如图2所示，尺寸图如图2 (a) ~ (c)所示，小车是东莞塞亚的，整体有三层，最下面的一层放电源、电脑和显示器，中建间层和上层放各种传感器；为了保证数据的高速传输，将LiDAR连接到主机的以太网端口，将其他设备连接到主机的USB3.0端口，使用高速NMVe SSD在高端笔记本电脑上记录数据。

B. Sensor setup

传感器说明：六个鱼眼相机用来采集360°场景中的图像，包括两个前置stereo摄像头、两个后置stereo摄像头和两个侧视摄像头；32线的Velodyne激光雷达采集点云；红外相机捕捉红外热图像，VI传感器获取前视彩色图像和惯性数据，使用事件相机捕捉动态信息；还安装了一个消费级IMU，一个GNSS接收器来收集GNSS原始信号，一个指向天空的鱼眼摄像头来监控上方；在户外，采用Xsens Mti 680G的GNSS-IMU组合导航系统获取groundtruth，在室内采用动捕设备和激光扫描仪获取groundtruth；表2列出了所有传感器和跟踪装置及其关键参数。

C. Calibration and synchronization

作者使用MATLAB摄像机标定工具箱标定针孔摄像机获得内参；鱼眼相机使用Kannala Brandt模型、 Omnidirectional mode和MEI模型进行校准；加热一个棋盘格，其中黑色块和白色块由不同热容的材料制成，用来校准红外相机；使用 toolbox标定IMU参数，包括陀螺仪和加速度计测量值的白噪声和随机游走。

作者选择激光雷达帧作为参考标定传感器之间的外部参数(相对姿态)，使用[52]工具箱对IMU和LiDAR的外部参数进行标定，使用Kalibr工具箱[53]对相机和IMU的外部参数进行标定，使用Autoware软件[54]对LiDAR和相机的外部参数进行标定。

时间同步方面：使用相同的系统时间戳来记录来自不同传感器的数据；所有摄像头通过软件进行同步，实验表明这种软同步的方式，使得不同相机之间的同步时间小于10ms。

D. Data collection

作者操控地面机器人在不同场景下采集数据，表III给出了数据集的概述，记录过程说明如下：室外是上交校园场景，Circle01和Circle02序列有回环；室内Hall05有回环；有一段从室内穿到室外的序列；图3是一段从1楼到2楼的序列。

E. Data usage and tools

所有数据都使用ROS的录制并通过rosbag发布相关topics，作者也提供了一个脚本将其转换为其他格式；提供了每个序列的地面真实轨迹和校准结果；此外，在项目页面上给出了评估不同SLAM算法性能的详细说明。

Evaluation

如表4，作者在数据集中的7个代表性序列上评估了SLAM的SOTA算法，并通过EVO工具将所有估计轨迹与groundtruth对齐，得到ATE误差，使用绝对轨迹误差(ATE)作为评估指标；

VSLAM的方法选了：ORB-SLAM3（细分选了单目相机模式下的针孔相机、鱼眼相机和热相机进行评估，即ORB3-Pinhole、ORB3-Fisheye、ORB3-Thermal）、CubemapSLAM、Multicol-SLAM和VINS-Mono；

激光SLAM方法选了：A-LOAM、LeGO-LOAM、LINS和LIO-SAM。

结果如表5所示，结果表明，基于激光雷达的方法总体上优于基于视觉的方法，特别是在大型户外场景中，但在某些特定情况下，两种方法的性能都不太好。

• a) Low illumination：Sequence Roomdark06 和 Street07是低光照的序列，使用针孔(ORB3-Pinhole)和鱼眼(ORB3-Fisheye)相机的ORBSLAM3在这些序列中失败，原因是不能提取足够多的特征点，以及提取的特征点大多来自较远的明亮物体，如路灯或光屏，导致较大的估计误差；在这个场景下红外相机能区分低能见度下的物体，但是一些可以被RGB相机很好地识别的物体在热红外相机中可能看起来没有纹理。
  
• b) Entering and leaving the lift： Sequence lift04是这样一个序列，机器人乘坐电梯在不同楼层移动；这个场景下只有IMU可以比较好的Work，现有的SLAM算法没有一个能解决这个问题。
  

• c) Outdoor-Indoor switching：在Sequence Door01中，测试GNSS仅适用于室外，在室内效果太差，所以这里作者增加了一个朝向天空的相机。
  
• d) Dynamic motion：Sequence Street07 采集的路线是曲折的、带有急转弯、刹车以及上下加速等突然的动作；如表V所示，视觉SLAM和激光雷达SLAM在本次测试中都表现不佳；大多数VSLAM方法(ORB3-Pinhole, ORB3-Fisheye, CubemapSLAM)失败，在这种情况下，激光雷达SLAM也产生了较大的ATE误差。
  
• e) Multiple cameras：作者用三个鱼眼相机(两个在前面，一个在左边)测试了Multicol-SLAM，但它几乎在每个序列中都失去了跟踪，原因可能是它试图从高度失真的图像中直接提取和匹配特征，容易导致错误匹配。
  

总结：上述实验表明，目前激光和视觉SLAM的SOTA方法在现有的benchmark中表现比较好，但是在地面机器人上需要显著改进。

Conclusion

M2DGR是一个包含大量传感器信息的数据集，用来鼓励在多传感器融合SLAM方向上取得突破；此外作者基于M2DGR数据集测试和评估了一些最新的SLAM算法，并分析了这些算法在不同场景下的缺陷和局限性，这些缺陷和局限也可能是未来的SLAM发展方向。未来作者计划不断更新和扩展M2DGR，努力为地面机器人建立一个类似于 KITTI 数据集的综合SLAM benchmark（殷杰，如果你看到了这篇我为你的M2DGR写的Review，请考虑一下更新部分语义方向的内容:) ，KITTI那么热门一方面的原因是很多搞CV的在用）。