摘 要：针对目前较多无人值守变电站采用多摄像头分离处理，存在的成像细节模糊、可扩展性差、传输延时长等问题，文中提出一种基于图像融合与H.265 的无人值守电力巡检系统设计方案。系统前端设备采用双目摄像头采集可见光与红外图像，通过图像融合算法对可见光与红外图片进行融合处理，解决了可见光干扰能力弱和红外图像模糊的问题。此外，文中系统支持有线/无线两种部署方式，用云端存储来缓解本地存储的压力，且采用H.265 编码方式以降低网络延时。最后，对系统的图像融合效果、系统延时以及视频质量进行测试。结果表明，文中系统所输出的融合图像对比度强、细节保留完整，相比于H.264 编码技术，延时降低了9%～10%。

  0   引 言  

随着人民生活水平的提高，用电规模日益增长，电力系统规模也在急剧扩大，变电站数量猛增。变电站是电网建设的关键连接点，在电力运输、电压转换与电能分配中起着重要的作用，直接影响人们的生活[1]。为保证变电站安全、稳定的运行，对变电站内设备进行定时定点的巡检是变电站日常管理工作的核心环节。目前电力公司主要采取传统的人工巡检方式，即巡检人员到现场对电力设备进行检查和记录。但由于变电系统设备种类多，因而对巡视人员有较高的要求，巡视人员的业务水平、责任意识和精神状态都会影响巡检质量[2]。目前人工巡检存在数据主观性强、受天气影响大、数据管理分散等问题，无法满足准确、实时、高频的巡检需求[3]。据中国电力科学院统计，每年因漏检、误检造成的损失大约20 亿元。随着智能电网的提出[4]，如何利用现有技术来保证电网安全、可靠和高效运行是研究的最终目标。在电力系统中，通常采用图像或视频的方式对电力设备进行实时监测，监控摄像机包括可见光摄像机和红外热成像摄像机。可见光图像在分辨率和细节纹理等方面有较大的优势，在传统的电力巡检工作中起着重要的作用[5]。但可见光成像必须要求有光源，因此可见光摄像头在电力设备监控时应用受限。而红外热成像因其成像特性不受光照、烟雾等条件的制约，成为了检测电力设备状态的理想手段[6]。

钟明等人设计了一种基于红外热成像的自动巡检系统，能够定期对元器件进行检测[7]；薛伟提出一种基于红外成像的故障诊断方法，在一定程度上可为电力设备检测提供有效参考[8]；林玉涵结合红外热成像技术和模糊状态理论提出了一种电力廊道温度预测方法，可在一定程度上预测电力廊道的温度变化[9]；张强等人为满足系统部署的灵活性和可扩展性，提出一种基于WiFi 的智能巡检系统，该系统能够通过无线进行远程控制和数据传输[10]；杨凤霞基于红外热成像技术提出一种无人配电所智能巡检系统，该系统能够对固定区域进行实时监测[11]。但上述方案大多采用可见光摄像头与红外摄像头分离处理，不易于维护人员第一时间定位可疑故障点；数据传输一般采用有线方式，可扩展性差；设备数据信息存储于本地，维护成本高、存储压力大；同时由于受到网络带宽的限制，存在视频分辨率不高、时延长等问题，从而影响推广和普遍应用。针对上述问题，本文提出一种基于图像融合与H.265 的无人值守电力巡检系统设计方案。该系统使用图像融合技术将可见光与红外图像进行融合，既保持了可见光图像中的大量细节信息，又保留了红外图像的重要目标信息[12]，能够增强目标的可识别性。本文采用有线/无线两种数据传输方式，配置方便，扩展性强；利用云端对设备状态信息提供存储服务，减轻了海量数据的存储压力；基于H.265 编码标准对所输出的高分辨率视频流进行压缩处理，并通过WiFi 无线网络发送至云端，从而解决了网络传输视频分辨率低、时延长等问题。

  1 相关技术介绍  

1.1 图像融合技术

可见光分辨率高、视场大、颜色及特征信息丰富，但抗干扰能力较弱，成像质量受到光照、天气等因素的制约。红外光谱不受光照、烟雾等条件的制约，但成像分辨率低、对比度差、需要增强显示[13]。对于以上两种发展较为成熟的视觉传感器，融合可见光图像和红外图像能够结合两者的优点[14]，更易于发现和识别目标。图1为可见光与红外图像融合流程图，算法流程如下：

图1 可见光与红外图像融合流程

1）对可见光和红外图像进行预处理，包括颜色空间转换、形态学处理等；

2）对多元图像进行时间和空间的配准是图像融合过程中最关键的环节，包括基于灰度、特征、变换域的方法；

3）对图像特征进行提取；

4）进行特征级图像融合，对图像中形状、颜色、轮廓、大小、相似区域等特征进行提取并融合；

5）输出融合后的图像。

1.2 H.265 编码技术

新一代视频编码标准H.265 与之前的H.264 版本相比，视频流的码流减少了50%左右[15]，且图像质量基本不变，所需的网络带宽降为之前的1 2，在提高压缩效率的同时，适当地提高了编码的复杂度，其编码过程如图2 所示。与原有的H.264 标准相比，H.265 编码技术在变换、量化、熵编码等混合编码结构的基础上，对编码分割结构、多角度帧内预测技术、运动估计预测技术、DCT 变换、自适应环路滤波等方面做出了较大的改进，以达到提高压缩效率和错误恢复能力、减少实时的时延及信道获取和随机接入的时间、降低复杂度，并在有限带宽下传输更高质量的网络高清视频的目的[16]。

图2 H.265 编码过程

  2 基于图像融合与H.265 的无人值守电力巡检系统设计  

2.1 系统结构

本文系统由双目摄像头、WiFi 网关、云端与客户端四部分组成，结构如图3 所示。

图3 无人值守电力巡检系统结构图

1）双目摄像头端由高清摄像头、红外摄像头、海思HI3519 芯片、无线网卡等硬件设备组成，负责对实时视频进行采集、图像融合和图像压缩，并将数据传至云端。

2）WiFi 网关主要提供数据传输功能，可将双目摄像头采集的数据传输至云端，也可将客户端的命令传至终端设备。

3）云端主要提供数据存储、设备状态实时监控、流媒体分发以及终端控制等功能。

4）客户端由PC、移动设备以及配套应用程序组成，能够实现实时视频预览、终端设备控制、温度异常预警等功能。

在本文系统中，嵌入式处理器HI3519 是摄像机最核心的模块，承载了图像处理、编码与解码压缩等大量工作。首先通过可见光传感器IMX415 以及红外传感器采集图像信息，在处理器内部进行图像融合和H.265 编码压缩后，通过无线网卡和WiFi 网关将视频流传至云端，通过云端进行数据存储及转发，将处理后的视频流发送到客户端。

2.2 硬件设计

系统硬件组成部分为：高清摄像头、红外摄像头、海思处理器、无线网卡等，硬件结构图如图4 所示。

图4 系统硬件结构图

高清摄像头采用SONY 公司生产的IMX415，其堆叠式CMOS 影像传感器采用索尼独有的高灵敏度、低噪点技术，该传感器只有1 2.81 英寸，有效像素可达846 万，但其低光性能却是前代产品IMX274 的1.5 倍；红外摄像头采用某厂家生产的热像仪机芯，分辨率为320×240。

图像处理器采用HIsilicon 公司的HI3519 芯片，该芯片内核为Cortex A7 内核，主频高达800 MHz，采用H.265 视频压缩编码器以及低功耗工艺和低功耗架构设计，并支持多种外设。本文系统所采用的接口有NOR FLASH 接口、DDR3 SDRAM 接口、MIPI 接口、SPI接口、I2C 接口以及用于调试的串口。

采用Realtek 公司生产的一款USB 2.0 接口无线网卡RTL8188ETV，频率范围为2.4 ～2.483 5 GHz，最大数据传输速率为150 Mb/s。该网卡支持IEEE 802.11b/g/n标准，支持IEEE 802.11i 安全协议以及IEEE 802.11e 标准服务质量，支持WPA-PSK/WPA2-PSK、WPA/WPA2 安全机制。

2.3 系统软件设计

系统软件设计主要包括双目摄像头端程序设计和客户端程序设计。双目摄像头端程序设计即面向HI3519 处理器的摄像头端程序设计，包括高清和红外视频采集、预处理、图像融合、H.265 编码以及流媒体服务器搭建等功能。客户端程序设计即面向PC、移动终端的应用程序设计，包括视频流接收、H.265 解码、播放、高温预警、定时拍照、录屏等功能。

2.3.1 双目摄像头端程序设计

在HI3519 中程序结构可分为引导加载程序、操作系统、根文件系统、媒体软件处理平台和应用层。系统引导加载程序采用U-boot，操作系统采用Ubuntu 18.0.4版本，根文件系统采用JFFS2 文件系统。媒体软件处理平台（MPP）采用HIsilicon 公司提供的用于辅助设计的软件处理程序包，按照函数功能可分为视频输入函数（VI）、视频处理函数（VPSS）、视频编码函数（VENC）、视频输出函数（VO）等。应用层主要包括网络配置程序、无线网卡应用程序以及利用ZLMediaKit 搭建的流媒体服务器。在嵌入式平台HI3519 程序设计中，使用软件处理程序平台的视频采集、视频处理、图像融合、视频编码函数，分别用于实现视频采集、视频预处理、图像融合、视频压缩的功能。之后配置网络环境和搭建流媒体服务器，并通过无线网络将压缩后的视频流接入云端，软件具体流程如图5 所示。首先进行MPP 初始化；然后调用VI 模块中高清摄像头和红外摄像头采集视频，使用VPSS 模块中库函数对视频进行去噪、防抖等预处理；接着采用图像融合算法对高清图像和红外图像进行融合处理；最后调用VENC 的程序对视频做H.265 硬件编码压缩。

图5 HI3519 程序流程

2.3.2 客户端程序设计

客户端程序设计指在PC、手机平台中的应用程序设计，是在VLC 开源项目基础上修改后实现的。客户端软件流程如图6 所示。以计算机端的应用程序为例，在客户端应用程序中，首先对设备进行管理，输入摄像机IP 地址，接收云端传输的视频信息；然后对视频流进行H.265 解码，初始化VLC 播放器，创建VLC 播放器实例，显示高清视频和融合处理后的视频。

图6 客户端软件流程

  3 系统测试及应用  

3.1 系统测试

系统测试环境如下：网络环境为华为技术有限公司的4G 无线路由器B315s-936，PC 端处理器为i5-8400，内存为DDR4 8 GB，操作系统为Windows 10；测试手机选用Android 手机Redmi K30，配置为8 GB+256 GB 版本；云端服务器选用Intel Xeon 4110，内存为64 GB，操作系统为Windows Server 2019 Datacenter，网络带宽为1 GB。针对本文的设计方案，系统测试包括图像融合的合成质量测试以及H.265 编码视频传输的延时测试。为了直观地展示测试结果，与H.264 编码的测试进行对比。系统PC 端、客户端界面如图7 所示，移动端APP 界面如图8 所示。

图7 PC 端、客户端界面

图8 移动端APP 界面

3.1.1 图像融合测试

对同一电力设备进行测试，分别用红外摄像头、高清摄像头进行拍摄，得到的红外图像与高清图像如图9a）和图9b）所示；同时使用本文系统设计的双目摄像头进行拍摄，所得的融合图片如图10 所示。由图9、图10 可知，相较于原始红外图像，本文系统所生成的融合图像对比度强，保留的细节更加完整。

图9 采集的红外图像与高清图像

图10 本文系统所生成的融合图像

3.1.2 系统延时测试

将双目摄像机对准电子计时器，然后计算PC 端、移动客户端的本地时间和视频中的电子计时器显示的时间差，进行多次实验，取其延时的平均值，测试结果如图11 所示。由图11 的系统测试结果可知，H.265 编码延时比H.264 编码延时降低了9%～10%。

图11 系统延时测试

3.2 系统应用

本文系统客户端界面友好、操作方便，与同类系统相比，可扩展性强、成像质量高、数据处理快、系统延时低，能够较好地满足无人值守变电站日常巡检的需求。目前该系统已在郑州地铁5 号线多个变电所与国家电网河南地区多个变电站投入使用，应用效果良好，系统部署场景及效果如图12、图13 所示。

图12 郑州某变电站部署现场图

图13 系统实际部署效果图

  4 结 论  

随着电网建设规模的不断扩大，设备规模、供电能力等发生了较大的变化，因而无人值守电力巡检方案产生并得到关注。本文设计的基于图像融合与H.265 的无人值守电力巡检系统能够在客户端和云端实现对电力设备的实时监测。测试结果表明：本文系统的融合图像能够保留更多的细节，且图像质量更高；采用的H.265 编码相比原有的H.264 编码延时降低了9%～10%。本文系统已在河南省多所变电站实际应用，效果良好。