在测试集8 000帧图像中,目标像素小于等于40×40的图像共有1 200帧,YOLOv3模型正确识别无人机图像数量为7 254,正确率为90.67%;增加更小特征尺度后正确识别无人机图像数量为7 616,识别正确率为95.2%,相较于YOLOv3提高约5%。
在对两段视频的测试中,视频1包含2 350帧,视频2包含1 780帧,对于本文提出的基于更小特征尺度的YOLOv3+KCF模型,正确识别与跟踪的总帧数分别为2 200和1 675,正确率分别为93.6%和 94.1%。对于分辨率为1 280×720图像,单帧检测时间为0.025~0.030 s,单帧跟踪时间为0.010~0.012 s。
图4为对较小目标的检测结果,其中图4(a)目标大小为40×35,图4(b)目标为30×28,单位为像素。可以看出,在目标所占像素较少的情况下,增加了更小特征尺度的YOLOv3模型依然可以成功将无人机目标检测出来;而限于目标尺寸的影响,YOLOv3模型未能成功检测到目标。
图4 较小目标检测结果
Fig.4 Results for small UAV targets
图5为视频1的测试结果。图5(a)为视频第1帧,检测到无人机并标注为UAV。图5(b)为第185帧图像,当前为跟踪状态,标注为“Tracking”。图5(c)为第328帧,依旧处于跟踪状态,目标没有丢失。图5(d)为第800帧,由于背景变化较大,且目标与背景颜色较为接近,本帧跟踪时目标丢失。实时计算此时的脊回归函数f(z)为0.17,小于设定的阈值0.20,即认为跟踪目标丢失,需重新进行目标检测。图5(e)为第801帧,重新进行目标检测后,成功检测到无人机,并转向跟踪。图5(f)为第926帧,当前处于跟踪状态,表明从第802帧开始一直处于跟踪状态,并正确跟踪到无人机目标。

图5 视频1测试结果
Fig.5 Experiments for video1
图6为视频2的测试结果。图6 (a)为视频第1帧,检测到无人机并标注为UAV。图6(b)为第168帧图像,当前为跟踪状态,标注为“Tracking”,可以看到背景始终为天空。图6(c)为第470帧,依旧处于跟踪状态,但背景逐渐从纯天空向建筑物过渡。图6(d)为第984帧,此时背景变为树叶,相较天空背景变化较大,且此时目标与背景颜色较为接近,导致本帧跟踪时目标丢失。实时计算此时的脊回归函数f(z)为0.13,小于设定的阈值0.20,即认为跟踪目标丢失,需重新进行目标检测。图6(e)为第985帧,重新检测到无人机,并转向跟踪;图6(f)为第1 119帧,处于跟踪状态,表明自最近一次重新检测后,一直处于跟踪状态,验证了所提方法的有效性。

图6 视频2测试结果
Fig.6 Experiments for video2
表1为YOLOv3、小尺度YOLOv3、小尺度YOLOv3+KCF分别在上述静态样本、视频1和视频2中的性能对比。从表中可以看出,对于样本集图像来说,加入小尺度特征后,识别率提升近5%。对于视频1和视频2,单纯用YOLOv3或者小尺度YOLOv3去进行目标检测与跟踪(检测式跟踪),二者的识别正确率都要比本文方法高。其中,YOLOv3的正确率比本文方法略高一点。但是这种每帧都进行检测的方法对资源需求太高,每帧检测时间平均为0.03 s左右,即30 fps,再加上一些其他处理,经常会低于25 fps,不能满足工程上的实时处理。而本文方法在目标跟踪时,只有当目标丢失时才会重新检测,在目标没有丢失的情况下均进行跟踪,而跟踪的处理时间仅为0.012 s左右。因此,通过加权计算本文方法每帧检测及跟踪时间平均为0.022 s左右,即使算上其他资源消耗,也可满足30 fps实时处理需求。
表1 YOLOv3、小尺度YOLOv3、小尺度YOLOv3+KCF性能对比
Tab.1 Performance comprison of YOLOv3, small-scale YOLOv3 and small-scale YOLOv3+KCF
5 结 论
为了对“黑飞”的无人机进行光电探测与跟踪,本文搭建了基于转台与高清可见光相机的无人机目标实时探测系统,在YOLOv3模型基础上增加更小的特征尺度并结合KCF模型,实现对无人机目标的实时检测与跟踪。试验结果表明,通过在包含大疆御Pro、精灵3等无人机在内的8 000帧无人机图像组成的静态测试集上进行实验,增加更小特征尺度后的模型对小目标的识别率较之原始YOLOv3模型提高约5%。对于1 280×720分辨率的动态视频,每帧检测时间为0.025~0.030 s(33 fps),且根据选定的阈值,当无人机目标丢失后可重新进行检测,每帧跟踪时间为0.010~0.012 s(85 fps),这对于未来全自动式无人机探测系统的研制具有重要意义。然而,无人机种类繁多,不可能穷尽所有无人机目标,本文只是对常见的几种旋翼式无人机进行了取样和训练,对于固定翼式的无人机目标并没有考虑,进一步工作将主要集中在更多种类更多数量的无人机目标样本获取及神经网络模型优化等相关研究方面。