前言

近年来，随着国家经济快速发展对电力安全稳定充足供应的需求，电网整体架构日趋庞大复杂，变电设备规模也不断扩大，当前运维管理模式与设备快速增长的矛盾日益凸显，存在设备监控强度不足、运维管理细度不足、支撑保障能力不足等问题。

大电网安全与设备运维监控成为电网企业安全生产常抓不懈的焦点，需进一步加强对安全责任、安全防范的重视程度。

电网企业开源节流、降本增效的经营形势压力对变电设备管理提出提质增效新要求，十四五期间需要对电网的监管从粗放合规式逐渐转向精细精益式管理。

随着大数据、云计算、人工智能、5G通讯、信息安全防护、物联网等数字信息技术的创新突破。

以数字驱动为特征、数据资源为要素的数字经济得到了蓬勃发展。

智能化的新生产方式加快到来，为基于输变电物联的智慧变电站建设提供了技术支撑。

同时外部复杂多变的环境和电网公司可持续发展要求给变电运检以及智慧变电站建设带来新的机遇和挑战。

为适应国网智慧变电站建设要求，国内主要电工装备制造企业秉持“本质安全、先进实用、面向一线、运检高效”的基本原则，本文基于人工智能视觉识别技术。

开展了变电站智能化巡检水平提升工作，主要结合目前站内布设的视频监控设备、以及巡检机器人等现有视频图像采集设备，运用人工智能视觉深度学习算法，实现变电站设备状态实时监测、站端表计智能识别、环境智能实时监测、人员安全智能评估、安全作业监控、电子虚拟围栏等智能巡检应用研究。

国内外研究情况

近几年来，随着大规模电网建设，输变配电运行设备大幅增加，但负责新设备定期检修的专业技术人员却严重匮乏。

为此，国网提出的变电站智能巡检是电网发展的大势所趋，因此具备状态自感知能力的智慧型一次设备的研制将成为智能巡检体系建设的关键载体。

目前，国内传统变电站多采用辅助设备监控系统结合人力分析实现变电站环境及设备状态巡检作业及分析，层级环节多，系统故障率高。

且各子系统独立，保留各自主机，存在多个信息孤岛，无法满足集中监控、数据共享和智能联动的管理要求。

传统的设备状态评价及运检策略都是以专家经验定期评估为主，评估周期较长，无法实现设备正确告警和对设备状态的准确把控。

面对愈加复杂的电网环境，单靠人力分析、片面防控已不满足设备管理需求。这对设备状态评估、设备运检质量和供电可靠性提出了新的、更高的要求。

智能巡检概念产生于2000年左右，主要得益于视频分析算法的发展和智能视频监控系统不断发展。

这个阶段将视频智能分析算法融入到监控系统中，通过智能分析算法对视频图像进行处理分析，从而回答了人们感兴趣的“是谁，在哪，干什么”的问题，可以按照事先设定的安全规则，及时发出报警信号，可以实现各行业无人值守功能。

这个阶段是视频监控系统，能全天候实时进行图像分析监控，利用图像识别算法来对图像进行分析理解，彻底改变了以往完全依靠监控人员对图像分析的模式。

目前江苏、浙江等地逐步实行变电站智能巡检，充分应用移动互联、人工智能等现代信息技术和先进通信技术，实现电力系统各个环节互联互通、人机交互等功能。

利用物联网技术提高变电运维质量和效率，实现通过技术手段替代变电站人工巡检。

可以降低运检人员现场监控、巡检的工作强度，可以使已经相对减少的运维人员得以管控日益增多的各类设备，同时提高运检人员现场工作效率和可靠性，降低工作难度。

主要包括油温油位异常联动、SF6压力告警联动、主变轻瓦斯动作与视频联动、变电站内小动物识别等。充分做到能够及时发现处理变电站内的各种安全隐患及异常情况。

尽可能避免或减少因异常情况产生的各种损失，实现设备信息和关键状态可以得到7x24的全时获取和分析，降低故障的响应时间，减少运维人员长距离的实地巡检工作，降低运检人员现场监控、巡检的工作强度。

可以使已经相对减少的运维人员得以管控日益增多的各类设备，同时提高运检人员现场工作效率和可靠性，降低工作难度，降低对现场人员的要求，提高问题排查的效率。

主要业务及架构设计

对于变电站智能巡检业务而言，变电站基本已实现关键设备及表计、关键作业区域等现场视频监控设备安装布设。

较多变电站基本上也已广泛实现了站内巡检机器人的应用，某些变电站对于运检人员较多配备有单兵作业装备，视频采集环节已基本满足人工智能视觉学习前提条件。

对于变电站智能巡检识别业务场景初步规划设计有以下方面：

设备状态实时监测：对变电站保护压板状态、变电站二次开关设备状态等等进行实时监测及智能识别，异常状态进行告警；

站端表计智能识别：计量盘有功、无功电度表，变压器控制盘电压表、电流表、功率因数表、温度表等，高压室低压室温度计等站端表计智能识别；

环境智能实时监测：对站内环境进行实时监测，对若存在烟火诸类环境安全隐患 进行智能分析和告警；

人员安全智能评估：对站内人员行为进行实时监测，对如人员倒地等异常行为进行安全状态评估；

安全作业监控：实现出入口管控、进场人员车辆识别、人员违章管控等；

电子虚拟围栏：通过采集现场图像划分虚拟电子围栏，进行区域防护，越界报警；

图1　业务场景设计示意图

本文研究智能巡检总体架构分为应用展现层、分析服务层、网络传输层及设备接入层四层开展设计，总体架构设计如下图所示：

图2　总体架构设计图

设备接入层：作为人工智能视觉分析的前置输入，以支撑变电站智能巡检业务及各项应用。

通过变电站辅助系统及前期已安装部署的视频数据采集类硬件设备，构建设备接入层。主要包括有：单兵作业装备、视频监控摄像头、移动式布控球、变电站巡检机器人等等。

网络传输层：网络层作为数据传输管道，通过布设无线AP、移动运营商4G/5G网络、以及站内网线/光纤设备，构建站内视频类数据传输网络，以实现多路视频采集数据低延时、高速率实时传输，为人工智能视觉分析服务提供必要支撑。

分析服务层：依托后端布设AI分析服务器以及现场前置布设边缘物联代理装置，内置训练成熟的各种AI分析算法及模型，以支撑包括不限于：设备状态实时监测、站端表计智能识别、环境智能实时监测、人员安全智能评估、安全作业监控、电子虚拟围栏等多种变电站智能巡检所需识别场景。

应用展现层：为支撑变电站巡检业务开展，设计应用展现层包括应用层及展现层两个方面。其中展现层主要从用户体验方面分为大屏端应用、PC端应用以及移动端应用；

应用层分类业务应用及基础应用两类，业务应用包括：巡视监控、实时监控、智能联动、数据采集管理、数据分析预警、巡视结果确认、巡视结果分析等业务类功能模块，基础应用包括：用户管理、配置管理、系统配置、台账管理等系统基础维护类功能模块。

为满足国家电网相关技术规范及标准要求，设计本文研究课题部署架构如下：

图3　部署架构设计图

其中，需主要说明的是智能分析服务器部署在后端系统侧，主要针对静态性高的场景。

通过网络接入层将所有视频流发送至后端智能分析服务器，对数据结果实现批量识别处理。并将识别结果发送至后台系统，用户端界面可以直接查看到后台存储的所有识别结果；

针对实时性高的场景，在变电站的站端部署边缘物联代理装置，集成轻量级AI算法识别前置单元，识别完成后将结果通过发送至后台系统。

参见“图2总体架构设计图”、“图3部署架构设计图”，AI智能分析服务器及边缘物联代理装置中，所内置集成分析服务层中视觉深度学习算法，为变电站智能巡检业务主要技术难点，也为本文主要研究内容重点。

主要技术路线研究

为支撑变电站智能巡检业务及应用，需要对单兵装备、视频监控设备、巡检机器人等设备接入层采集上来的视频流在边缘物联代理装置，及AI智能分析服务器中内置集成的AI视觉分析算法进行智能识别。

目前深度学习卷积神经网络是物体图像识别的研究热点，卷积神经网络的网络参数不受目标在图像中位置的影响，适合并行运算，实际应用效果好。

本文研究如何对变电站采集上来的视频流数据运用深度学习卷积网络技术，基于智能巡检业务开发新的深度学习模型，对于卷积神经网络技术，其技术实现示意图如下所示：

图4　MobileNet-SSD网络示意图

以图4的MobileNet-SSD为例，卷积网络由多个卷积层构成，每个卷积层通常按卷积运算、激励函数计算和池化计算顺序进行，物体的特征从输入的图像中经过多次卷积层运算被提取出来。

卷积层中的卷积核起到滤波器的作用，滤出被识别物体的特定特征；

激励函数使卷积网络有非线性滤波器效应；池化层降低分辨率，使后端的卷积层提取物体的整体特征。

视频图片从左侧输入，分辨率高，卷积得到物体的细节特征；

向右顺序运算，分辨率缩小，矢量维度增加，每一点的值由输入图像较大的区域计算而得出，卷积得到的是物体的整体特征；最终，深度学习卷积网络输出物体的类别和位置。

运用卷积神经网络开始视觉智能分析学习主要分为三个阶段：

第一阶段：设计特征划分模型。积攒初始数据，需要开发预处理过程的软件，以配合深度学习算法。主观设计图像识别划分规则；

第二阶段：积累海量训练数据。运行特征划分模型数月，对其处理结果进行人工评判划分，保存图像和标签；

第三阶段：训练深度学习模型。利用海量数据充分覆盖各种边界状态，训练深度学习模型，并持续收集数据，不断重复训练，提高识别准确率，最终超越。

图5　卷积神经网络阶段示意图

视觉学习算法实践

由上而知，人工智能视觉识别为变电站智能巡检主要关键技术，火情监测作为变电站比较重要的监控防范对象。

本文采用神经网络视觉分析技术，主要从变电站内烟火识别开展深入研究及实践，以期达到AI模型成熟，乃至达到实用水平目标。

主要研究过程分为数据采集、数据标注、神经网络选择、模型训练、模型测试五个环节：

图6　视觉学习算法流程图

1数据采集

由于烟火属于特殊的且一般很少发生的场景，所以很难采集到真实的烟火数据，所以主要采取两种方法来构造烟火数据集：

（1）互联网搜索，网络爬虫一些烟火图片，共约6000张，示例图如下：

图7　烟火采样图

（1）人工ps一些烟火图片，共约8000张，示例图如下：

数据标注

数据标注首先需要准备标注属性文件，该文件记录所需要标注的目标名称以及默认标注框信息等。

标注之后，数据标注人员就可以使用数据标定软件加载该属性文件和待标注图像文件进行标注，标注示例如下：

标注文件需要进行转换为神经网络训练所需要的格式，存储矩形框信息依次为：目标类别、中心点x、中心点y、矩形框宽、矩形框高，所有这些信息都需要除以图像的宽和高进行归一化。

神经网络选择

由于有些场景光照变化比较大，个别物体容易反光被误认为烟火目标，而且烟火刚开始发生的时候目标较小，所以主要采取两个方面的措施解决问题。

（1）准备训练数据集时，尽可能丰富数据集，覆盖不同场景不同光照等条件下的图像，而且对已有图像进行亮度、区域像素以及图像尺度等的图像增强操作进行数据丰富，满足数据多样性。

（2）选用yolov3神经网络，一方面yolov3是one-stage网络，不同于SSD等two-stage网络需要先生成预选框，然后基于预选框进行分类与回归的训练，yolov3将物体检测这个问题定义为bounding box和分类置信度的回归问题，只需要一步即可实现box的预测和分类。另一方面，类似retinaNet、centerNet网络虽然效果较好，但是难以在边缘端运行，且耗时很严重。具体比较如下表所示：

表1卷积神经网络对比表

Yolov3基于darknet-53网络结构，对于416x416的输入，使用13*13、26*26、52*52的三个尺度特征进行对象检测,提升了预测精度，尤其是加强小物体的识别能力，而且速度也非常快。

Yolov3网络的整体结构如下图：

卷积神经网络整体结构图

其中，DBL模块是yolov3的基本组件，就是卷积+BN+Leaky relu。对于yolov3来说，BN和leaky relu是和卷积层不可分离的部分；

resnet层是yolo_v3的大组件，它借鉴了ResNet的残差结构，使用这种结构可以让网络结构更深；concat层实现张量拼接，将darknet中间层和后面的某一层的上采样进行拼接。

拼接的操作和残差层add的操作是不一样的，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。

整个v3结构里面，是没有池化层和全连接层的。

前向传播过程中，张量的尺寸变换是通过改变卷积核的步长来实现的，比如stride=(2, 2)，这就等于将图像边长缩小了一半(即面积缩小到原来的1/4)。

yolov3的backbone也即darknet-53会将输出特征图缩小到输入的1/32。

所以，通常都要求输入图片是32的倍数，其结构图如下：

yolo v3输出了3个不同尺度的feature map，借鉴了FPN(feature pyramid networks)，采用多尺度来对不同size的目标进行检测，越精细的grid cell就可以检测出越精细的物体。关于多尺度分析，可以参考下图：

卷积神经网络特征标注原理图

针对3个尺度的特征图，为每种下采样尺度设定三种先验框，对于416x416的输入，在最小的13x13的特征图上。

应用较大的先验框，适合检测较大的对象，中等的26x26特征图上应用中等的先验框，适合检测中等大小的对象。较大的52x52特征图上应用较小的先验框，适合检测较小的对象。

最后，针对所有的检出框，对每一类别的目标先按照置信度的高低进行排序，然后使用NMS非极大值抑制算法进行重复框的去除，最终所得的检出框就是输入图像的目标检测框。

模型训练

使用标注好的训练数据，按照8：1：1的比例将数据集分为训练集、验证集和测试集，准备yolov3网络结构描述文件，注意要修改文件中的目标类别数为3（火、黑烟和白烟）和其相关卷积核个数，在具有gpu的服务器上基于darknet框架进行网络训练。

所谓模型训练即神经网络模型对标注数据的一种学习拟合。

针对烟火识别模型的训练，所需要达到的目的就是模型预测到的烟火目标框与真实烟火的标注框尽可能的逼近，其损失函数包含了中心坐标误差、宽高坐标误差、置信度误差和分类误差，最终损失函数如下图描述：

当训练结束，可达到目标检测率很高而误检率很低时，即可终止训练，保存训练模型。

5 模型测试

使用保存好的训练模型对预先分出来的测试集进行预测，将生成的目标框和测试集对应的标注文件里的真实目标框进行比较，即比较真实目标框与预测目标框的IoU，进而判断该预测框是否准确。

IoU相当于两个区域（真实box和预测box）交叉的部分除以两个区域的并集部分得出的结果，一般取阈值0.5，大于0.5时，则认定为该预测框是正确的输出框，否则就是错误的，如下图所示：

通过IoU的比较，计算得到最终所有的正确目标数和错误目标数以及漏检目标数，就可以对应得到模型的准确率、召回率，进而计算得到模型的map值，具体准确率和召回率的计算方法参考下图，每个类别的准确率与召回率的乘积可以粗略估算为该类别的ap值，而map则是各个类别ap值的平均值。

当模型预测box与真实标注box的iou值大于阈值时，则记为检测正确，否则检测错误，具体涉及四个变量，含义如下：

tp：模型检测正确的目标数

fp：模型检测错误的目标数

fn：未被检测到的真实目标数

因而，tp+fp就是指所有模型检测到的目标数，tp+fn指所有标注的真实目标数。则准确率为tp/tp+fp，召回率为tp/tp+fn。

对于烟火识别，对测试集进行测试，最终得出模型的map值为0.92，效果可以，基本已达到应用水平。

总结

随着人工智能的逐渐成熟，智能分析的产品设备不断推广，越来越多创新应用已成为可能。作为电力网络重要组成部分，变电站在电网配电及输电环节承担着重要作用。

变电站通过布设视频监控设备、智能巡检机器人、以及配置单兵作业装备已成为常规的安全监测及安防手段，但传统巡检方式往往需要配置安全人员对视频数据进行人工判断。

对站内各仪器、仪表设备也需要人员通过人工巡检方式进行记录及异常分析判断，往往增加了人工巡检工作负担，以及由人工分析而导致的异常分析判断、甚至误判。

本文重点研究通过变电站内布设边缘物联代理、以及AI智能分析服务器内置集成识别模型及算法。

对采集上来的各路视频流数据运用卷积神经网络技术进行人工智能视觉学习，以期实现满足变电站智能巡检设备状态实时监测、站端表计智能识别、环境智能实时监测、人员安全智能评估、安全作业监控、电子虚拟围栏等多项业务场景。

本文通过对烟火识别开展算法实践研究，通过测试验证基本上达到了实用化的水平。

通过本文研究成果，较大提高了故障隐患分析处理效率，提高了变电站智能化水平和安全管理水平，具有较好的推广效益。

参考文献：

CUI Yanming, LIU Xiaoxian, MA Chao,etal. Standards of grid video surveillance system

and interface technology[J]. Automation of Electric Power Systems, 2010, 34(20): 13-16

Mi, Z. Discussion and Suggestion for Operation Problems about Unmanned Substation [J].

Guangxi Electric Power. 2006, 4: 024

基于机器视觉的变电站监控视频数据结构化方法研究[J].电力信息与通信技术,2018,16(05):18-23