一个基于opencv开源跨平台分析小动物视频活动和路径跟踪的方法

本文主要介绍一种基于OpenCV的多平台程序可以可靠且可重复地跟踪啮齿动物或昆虫等小动物的运动，并量化包括距离和速度在内的动作参数，以便检测由于处理，环境富集或温度变化而引起的活动变化。该系统提供了一种准确且可重现的实验方法，具有潜力，可以在各种模型系统中对运动和行为进行简单，快速和灵活的分析。

介绍

大多数实验性体内手术模型或动物会导致影响行为和运动的生理效应。例如，诱发慢性疼痛或对光敏感可能在疾病的实验模型中代表有用的结果，但是如果不借助自动动物跟踪设备和复杂的分析系统，很难量化这些行为。这种调查依赖于选择适当的评估方法，并且通常受其限制。

现有方法在所收集的运动数据的质量，所选设备的设置简便性和总体吞吐量水平之间折衷。红外运动传感器可以在很少的监督下长时间部署，相比之下，使用多个高分辨率CCD相机可提供高质量的运动记录和分析，例如检测到微妙的步态异常，但是这种方法无法进行高效率的分析。存在类似的策略来量化幼虫期或成年期的昆虫运动，范围从手动计数交叉的网格到自动计数红外束的交叉和自动视频跟踪。为啮齿动物或昆虫使用专用的摄影台可以进行清晰的检测，但可能会干扰正常行为，同时会进一步增加进入障碍物，但是对于检测行为可能是必需的。可替代地，在家庭笼中拍摄自然运动目前需要专用的计算机和笼设置。专注于小动物行为的成熟机构可能会在这种复杂的系统中进行投资，但是，没有专门的基础设施，研究人员几乎无法利用这些方法轻松，灵活地测试运动或行为的可再现变化。

如何在家庭环境中的运动捕捉，作者基于开源OpenCV的应用程序进行了分析。该系统使用低成本的设备，易于安装，并且大多数动物研究人员已经可以使用。该应用程序的移动版本针对Android智能手机，安装和使用非常简单，不需要在独立计算机上处理文件，而台式机（PC / Mac / Linux）版本也可用于批量处理以下内容：来自任何数字记录设备的视频。我们发现，在使用家笼作为阶段时，小鼠具有很高的活性，这意味着该方法快速，可检测到活动性的变化。

结果和讨论

该研究项目演示了如何使用该程序对具有足够背景对比度的动物或物体进行数字化拍摄和评估，如工作流程示例（图 1）所示。

图形概要，程序可以直接在兼容Android的智能手机或平板电脑上分析程序从各种可能来源捕获的数字视频以获取小批量文件，或者将其传输到计算机以进行视频修整和转换以及高通量高分辨率分析。可在任何平台上运行给出总运动摘要和.csv格式化跟踪路径。

实验室和临床前研究中常用的三种不同的实验模型系统（果蝇果蝇和幼虫，具有增色对比的白色小鼠和单独的黑色小鼠或在存在住房等刺激因素的情况下）用于开发和验证用于评估现场行为和活动参数的申请。

使用智能手机进行操作可以在录制参数方面提供更大的灵活性，以及通过该应用程序在设备内进行直接处理的可用性。或者，可以使用该APP的传输和处理由网络摄像头或其他相机记录的视频文件。当然使用台式机版本分析了更长的视频和更大的数据集，以便利用提高的处理器速度和批处理能力。该APP量化总体运动总量，并创建一条详细记录所走路径以及每帧动物大小和形状的个人记录。

功能的概述如图2a所示：

（a）App功能流程图，用于分析录音。在App中打开视频文件后，第一帧显示为预览。可以绘制一个绿色的标记正方形以进行视频裁剪（“裁剪”开关），或者替代性地引用诸如可见标尺之类的已知比例。（b）激活“阈值”开关可精确设置“色相，饱和度和值”（HSV）滑块，以便设置用于动物检测的颜色阈值。可以移动预览框架下的滑块，以在整个视频中逐帧测试阈值设置。可以从“预设”选项卡中加载预设HSV阈值（请参见补充图 1，a）。（c）绿色圆圈表示进行个体动物检测。轻按“播放视频”可在分析过程中运行视频以检查检测准确性，而轻按“下一步”可继续分析视频。（d）描述App.csv输出列的示例对象轮廓和标签。（e）示例果蝇视频和（f）路径跟踪，其中颜色指示相对瞬时速度。（g）在家用笼子或空的运输箱中检测到鼠标，尾巴底部的红笔标记检测到白色鼠标，并且有代表性的半透明红色住房浓缩物。（h）在（f），并且处理后的路径颜色表示瞬时速度。半透明的红色正方形表示在图3f的计算中使用的“框的中心”区域 。（i）用于在深色琼脂平板上追踪白色果蝇幼虫的等效装置。（j）幼虫路径图，路径颜色表示每帧对象（幼虫）的长度。

通过使用视频文件的第一帧，App允许用户裁剪图像并通过在图像上拖动一个矩形来设置已知大小的比例。基于色相，饱和度和值（HSV）颜色空间的颜色阈值的优化和设置（图 2b）

App可以在视场内找到所需对象以进行路径跟踪（图 2c）。

预先安装了通用阈值设置，而用户定义的阈值则可以从“预设”菜单中加载（补充图 1a），并导出以进行共享，以提高可重复性。

由于App需要HSV色差才能检测背景上的物体，因此在照明，拍摄距离和视频捕获技术方面必须进行仔细的实验设置。考虑到易用性，我们开发了软件以接受多种视频类型作为输入。在黑暗的环境中，或者对于快速移动的小动物，可以使用其他视频源（例如红外，夜视或高速数码相机），并将视频文件导入计算机或移动设备以在AnimApp中进行分析。但是，本文介绍的所有动物跟踪都是在标准实验室照明和内置移动电话摄像头下成功进行的。

经过逐帧分析后，App生成跟踪对象的图，并使用滑块允许逐帧检查视频中的路径，并测量到所选帧的总距离。逗号分隔的变量文件（.csv文件），名为App_summary.csv提供每个分析的日志，其中包括视频帧数，移动的距离和应用的缩放因子。

App还产生一个阈值设置的日志文件和一个单独的路径文件包含有关每个帧上的对象的信息（对象质心，帧号和质心，最小旋转矩形的宽度和长度，如图2d所示 ）。此信息可以在其他分析软件中进一步处理。提供了一个成年果蝇的视频，作为在果蝇 ARousal跟踪系统8（图 2e）中在标准透明玻璃管中进行简单动物检测和跟踪的示例，并为路径颜色计算了瞬时物体速度（图 2f）。运动距离分箱在应用程序中可用，并且可以通过在“预设”选项卡中选择分箱大小进行调整，并显示了该视频的示例输出。此示例果蝇视频文件，阈值预设文件以及用于计算和显示速度路径的R脚本作为补充文件提供。

为了进行啮齿动物的拍摄，在从悬挂的智能手机分别录制小鼠之前，打开家笼并去除浓缩物（图 2g）。如前所述，在拍摄之前，使用纸板管间接处理小鼠以减少动物的焦虑感12。为了进行初始优化，使用了黑色和白色小鼠。小鼠与白色被褥背景的强烈对比可以直接进行准确检测，而NSG小鼠则需要在尾巴的尾部用永久性标记物进行颜色标记以增加对比度，然后再进行记录。去除松散的被褥和富集物体后，只在单独的笼子中对小鼠进行隔离拍摄，仅留下木地板。当使用家用笼子作为记录阶段时，小鼠经常表现出挖掘和搜寻行为，以及饲养到笼子的墙壁上，但是花费最少的时间进行梳理或静止。当使用干净的空运输箱作为记录台（图2h中分别显示的跟踪路径）时，鼠标行为发生了显着变化 。果蝇幼虫分别放在黑色背景上的含2％琼脂的透明培养皿中（图 2i，j）。我们还测试并成功跟踪了其他昆虫，例如瓢虫以及动物特征，这表明该App可用于跟踪广泛的目标。

优化了小鼠每次拍摄时间的长度，以平衡测量精度与时间效率。由于动物在整个录制过程中移动不均匀，因此简短的视频容易出现较大的测量差异。通过拍摄每只鼠标的6分钟源视频，并将其分成3、2、1和0.5分钟的片段，我们分析了不同视频持续时间引起的变化系数。与完整的6分钟源（图3a）相比，2分钟切片产生的运动量化差异小于10％（图 3a），但我们认为运动较少的动物可能需要更长的视频时长才能达到相似的准确度。

（a）相对于主6分钟视频，指示长度的视频引起的C57B16鼠标移动的变异系数。（b）每分钟主视频片段的单个鼠标移动。（c）使用2分钟的视频，在家用笼子（“标准”）或干净的“空”运输箱（例如，参见图2g）中分析C57B16小鼠的运动 。（d）通过增加小鼠的活动来组织的，每只对照的NOD / SCID-GAMMA小鼠的运动的每日变化，每两周拍摄两次，每次2分钟。（é）总体C57BL6小鼠的运动和（?F），首先使用控制标准的拍摄阶段，然后引入半透明的红房子，然后进行手动处理和刮擦，在笼子中心花费的时间百分比。统计数据：（c）韦尔奇的两样本不成对t检验；（df）单向方差分析与Tukey多重比较，ns：不显着；* p <0.05；** p <0.01；*** p ＜0.001。

为了确定对象小鼠的活动是否随着动物习惯于相机的存在而发生变化，按时间顺序对源视频的1分钟片段的运动量化进行了评估（图 3b），并表明整个拍摄过程中的活动水平。但是，在录制的后几分钟会看到更一致的结果，这表明如果延长适应录制阶段的时间，则较短持续时间的视频可能同样准确。

由于预期拍摄环境会改变啮齿动物的行为，因此将使用“标准”笼子拍摄的小鼠的2分钟视频与在类似尺寸的完全干净的“空”运输箱中拍摄的视频进行了比较。在空的运输箱中，鼠标的行为发生了很大的变化，移动距离的显着减少证明了这一点（图 3c））。这表明，为了量化最大运动能力，使用动物自己的家笼作为记录阶段要优于空载阶段。但是，侧重于增加探索性行为或自信心的干预措施的实验设计可能会在使用干净的无菌记录台时有所帮助。这些发现表明，我们的分析系统能够检测环境变化引起的行为的细微变化。

通过在6周的过程中重复记录来分析单个小鼠的运动，以测试拍摄日之间单个动物运动的可再现性（图 3d）。出人意料的是，笼伴侣之间的可重现差异是可检测到的，表明每个人之间在基线运动倾向方面的细微差异。

为了测试此方法的灵活性，我们使用了该App系统来测量行为变化，以响应将富集对象引入家庭笼阶段和直接进行动物处理（“划伤”）的情况。野外试验中已经描述了跟踪啮齿动物与新物体的相互作用，而据报道直接处理动物对焦虑相关行为有影响。在将红色透明外壳引入家用笼子中心之前和之后的2分钟内测量小鼠活动，然后移除外壳，将小鼠着脚10秒钟，在此期间将动物保持倒立以模拟实验方法，例如腹膜内注射。然后再继续拍摄2分钟（图 3e）。值得注意的是，外壳的引入和操作引起的焦虑感都导致总的鼠标移动减少。为了进一步表征每种情况下的鼠标行为，还需要通过详细分析App路径输出来确定在记录阶段中心花费的总时间百分比（图 3f），并显示出动物对红色住房的巨大吸引力。通过仔细分析输出路径文件，可以对行为进行进一步分析，例如与特定位置的交互作用，笼中的局部环境，甚至是两个不同动物之间的交互作用。这突出显示了App如何用于量化动物整体活动，所走路径和每只动物的互动方面的行为变化。与任何行为研究一样，这种量化方法无法区分这种变化的原因，因此需要仔细的实验设计来解释结果。

还使用设置在19°C或37°C恒温箱内的1分钟幼虫视频，对App应用程序进行了研究，以评估其在培养皿中的果蝇幼虫的运动。归一化到起始位置的叠加输出运动路径提供了一种易于可视化差异的方法（图 4a）。幼虫收缩，也称为步幅，以前已用作运动行为的量度6。通过使用整个记录中的幼虫的长度和宽度，可以评估幼虫的收缩（用绿色线表示，图 4b），然后进行进一步处理以确定幼虫收缩的平均幅度（图4b虚线） ）。可以通过增加幼虫长度与宽度的比率（图4b中的黑线）来检测幼虫的转向 。通过计数网格线交叉事件（图4c）来手动量化幼虫运动的标准方法与该App的自动运动量化（图 4d）进行了比较。两种方法都提供了相似的结果，与在37°C下相比，在19°C下孵育的幼虫在1分钟内的平均运动明显降低（?两种方法的p <0.001）。AnimApp的使用速度比手动网格计数快得多，并且在检测运动方面更为精确，从而减少了数据点的变化。平均收缩幅度也被19°C孵育显着抑制（p ?<0.001，图。4e）。

（a）果蝇幼虫在37°C（红色）或19°C（蓝色）下孵育的标准化路径。（b）幼虫长度（绿色），平均幼虫伸展幅度（也称为“步幅”，虚线）以及幼虫长度与宽度之比（次级y轴上的粗黑线）随时间（帧）的示例轨迹）来自在37°C或19°C下孵育的幼虫的代表性视频。（c）通过计算网格线通过事件来对1分钟内行进的距离进行手动量化，以及（d）使用App对同一视频中的距离进行自动量化。（e）使用App输出的每种情况的平均步幅或收缩长度。在Tukey箱形图上绘制各个幼虫的测量值。统计资料：Welch的两样本不成对t检验，* p <0.05；** p <0.01；*** p ＜0.001。

为了探索单个视频中多个颜色标签的跟踪，我们使用App分析了先前为M-Track发布的视频，该应用旨在检测小鼠10的修饰行为。视频显示了一只白色的老鼠，脚掌上标有红色（右脚）或蓝色（左脚）。通过在AnimApp上运行具有不同颜色阈值的视频，可以成功检测每个爪子和整个鼠标体。与M-Track公布的结果相比，App产生的精确结果显示每个爪的运动模式非常相似。

结论

该App评估方法的潜在适应症包括疾病或基因改造模型，作为疼痛，对食物或其他化学物质的吸引或排斥的替代物的运动能力的量化，对光的敏感性或一般性焦虑。原始路径输出还可以量化来自源的吸引或排斥，并可以对移动路径进行更详细的映射，例如，如果与迷宫拍摄阶段一起使用。但是，有害或富集的刺激都可以使动物的活动产生积极或消极的变化，因此任何结果的解释都必须考虑到实验设计以及与其他既定补充方法的比较。

该程序旨在减少研究人员的时间，改进实验设计并完善临床前模型研究中评估行为和活动结果的常用技术。将程序整合到常用的手持设备中，为研究各种实验模型系统提供了可靠，经济高效且侵入性最小的方法，尤其是那些运动变化指示特定因果关系。

paper地址：

https://www.nature.com/articles/s41598-019-48841-7.pdf

桌面版源码：

https://github.com/sraorao/animapp_desktop

Android源码：

https://github.com/sraorao/AnimApp