图2 H.265 编码过程
2 基于图像融合与H.265 的无人值守电力巡检系统设计
2.1 系统结构
本文系统由双目摄像头、WiFi 网关、云端与客户端四部分组成，结构如图3 所示。
图3 无人值守电力巡检系统结构图
1）双目摄像头端由高清摄像头、红外摄像头、海思HI3519 芯片、无线网卡等硬件设备组成，负责对实时视频进行采集、图像融合和图像压缩，并将数据传至云端。
2）WiFi 网关主要提供数据传输功能，可将双目摄像头采集的数据传输至云端，也可将客户端的命令传至终端设备。
3）云端主要提供数据存储、设备状态实时监控、流媒体分发以及终端控制等功能。
4）客户端由PC、移动设备以及配套应用程序组成，能够实现实时视频预览、终端设备控制、温度异常预警等功能。
在本文系统中，嵌入式处理器HI3519 是摄像机最核心的模块，承载了图像处理、编码与解码压缩等大量工作。首先通过可见光传感器IMX415 以及红外传感器采集图像信息，在处理器内部进行图像融合和H.265 编码压缩后，通过无线网卡和WiFi 网关将视频流传至云端，通过云端进行数据存储及转发，将处理后的视频流发送到客户端。
2.2 硬件设计
系统硬件组成部分为：高清摄像头、红外摄像头、海思处理器、无线网卡等，硬件结构图如图4 所示。
图4 系统硬件结构图
高清摄像头采用SONY 公司生产的IMX415，其堆叠式CMOS 影像传感器采用索尼独有的高灵敏度、低噪点技术，该传感器只有1 2.81 英寸，有效像素可达846 万，但其低光性能却是前代产品IMX274 的1.5 倍；红外摄像头采用某厂家生产的热像仪机芯，分辨率为320×240。
图像处理器采用HIsilicon 公司的HI3519 芯片，该芯片内核为Cortex A7 内核，主频高达800 MHz，采用H.265 视频压缩编码器以及低功耗工艺和低功耗架构设计，并支持多种外设。本文系统所采用的接口有NOR FLASH 接口、DDR3 SDRAM 接口、MIPI 接口、SPI接口、I2C 接口以及用于调试的串口。
采用Realtek 公司生产的一款USB 2.0 接口无线网卡RTL8188ETV，频率范围为2.4 ～2.483 5 GHz，最大数据传输速率为150 Mb/s。该网卡支持IEEE 802.11b/g/n标准，支持IEEE 802.11i 安全协议以及IEEE 802.11e 标准服务质量，支持WPA-PSK/WPA2-PSK、WPA/WPA2 安全机制。
2.3 系统软件设计
系统软件设计主要包括双目摄像头端程序设计和客户端程序设计。双目摄像头端程序设计即面向HI3519 处理器的摄像头端程序设计，包括高清和红外视频采集、预处理、图像融合、H.265 编码以及流媒体服务器搭建等功能。客户端程序设计即面向PC、移动终端的应用程序设计，包括视频流接收、H.265 解码、播放、高温预警、定时拍照、录屏等功能。
2.3.1 双目摄像头端程序设计
在HI3519 中程序结构可分为引导加载程序、操作系统、根文件系统、媒体软件处理平台和应用层。系统引导加载程序采用U-boot，操作系统采用Ubuntu 18.0.4版本，根文件系统采用JFFS2 文件系统。媒体软件处理平台（MPP）采用HIsilicon 公司提供的用于辅助设计的软件处理程序包，按照函数功能可分为视频输入函数（VI）、视频处理函数（VPSS）、视频编码函数（VENC）、视频输出函数（VO）等。应用层主要包括网络配置程序、无线网卡应用程序以及利用ZLMediaKit 搭建的流媒体服务器。在嵌入式平台HI3519 程序设计中，使用软件处理程序平台的视频采集、视频处理、图像融合、视频编码函数，分别用于实现视频采集、视频预处理、图像融合、视频压缩的功能。之后配置网络环境和搭建流媒体服务器，并通过无线网络将压缩后的视频流接入云端，软件具体流程如图5 所示。首先进行MPP 初始化；然后调用VI 模块中高清摄像头和红外摄像头采集视频，使用VPSS 模块中库函数对视频进行去噪、防抖等预处理；接着采用图像融合算法对高清图像和红外图像进行融合处理；最后调用VENC 的程序对视频做H.265 硬件编码压缩。
图5 HI3519 程序流程
2.3.2 客户端程序设计
客户端程序设计指在PC、手机平台中的应用程序设计，是在VLC 开源项目基础上修改后实现的。客户端软件流程如图6 所示。以计算机端的应用程序为例，在客户端应用程序中，首先对设备进行管理，输入摄像机IP 地址，接收云端传输的视频信息；然后对视频流进行H.265 解码，初始化VLC 播放器，创建VLC 播放器实例，显示高清视频和融合处理后的视频。
图6 客户端软件流程
3 系统测试及应用
3.1 系统测试
系统测试环境如下：网络环境为华为技术有限公司的4G 无线路由器B315s-936，PC 端处理器为i5-8400，内存为DDR4 8 GB，操作系统为Windows 10；测试手机选用Android 手机Redmi K30，配置为8 GB+256 GB 版本；云端服务器选用Intel Xeon 4110，内存为64 GB，操作系统为Windows Server 2019 Datacenter，网络带宽为1 GB。针对本文的设计方案，系统测试包括图像融合的合成质量测试以及H.265 编码视频传输的延时测试。为了直观地展示测试结果，与H.264 编码的测试进行对比。系统PC 端、客户端界面如图7 所示，移动端APP 界面如图8 所示。
