学术咨询服务正当时学报期刊咨询网是专业的学术咨询服务平台！
发布时间：2021-05-14 16:49所属平台：学报论文发表咨询网浏览： 次
摘要：无人机技术和计算机视觉技术相结合，在民用和军用领域都有着广泛的需求，然而当前算法不能很好的适应无人机视角旋转、障碍物遮挡、目标尺度变化等特殊情况。根据实际的难点和挑战，提出了基于深度学习的无人机载平台多目标检测和跟踪算法。主要工作有
摘要：无人机技术和计算机视觉技术相结合，在民用和军用领域都有着广泛的需求，然而当前算法不能很好的适应无人机视角旋转、障碍物遮挡、目标尺度变化等特殊情况。根据实际的难点和挑战，提出了基于深度学习的无人机载平台多目标检测和跟踪算法。主要工作有：在检测方面，通过公开数据集和实际采集的大量数据，训练了基于Darknet53的检测网络作为检测器;在跟踪方面，使用Careid数据集训练了一个残差网络提取目标外观信息，使用卡尔曼滤波提取目标运动信息，并通过一个融合公式将两个信息进行整合得到成本矩阵，最后由匈牙利匹配算法得到跟踪结果。在UAV123数据集和实测采集数据集上分别进行多组实验验证，得到本算法在视角旋转、目标尺度变化、障碍物遮挡情况下均能进行稳定检测跟踪的结论。
关键词：深度学习;无人机载平台;多目标跟踪;数据关联
1引言
随着科技的进步，计算机逐渐可以代替人类的视觉系统去处理各种图像、视频信息。其中多目标跟踪是目前计算机视觉领域研究的主要内容之一。在生活中，各大城市的机动车保有量与日俱增。
然而交通系统，尤其是交通监管系统发展较为缓慢。面对持续增长的机动车总量，在重要道路口安装固定相机进行车辆监管的方法明显无法满足目前需求。随着多翼无人机技术的发展，为解决车辆监管问题提供了新思路。与路口固定相机相比，无人机有着小巧灵活、视角广、可快速移动部署等优点，有助于采集更全面的车辆信息。同时在军用领域中，无人机技术和计算机视觉技术的结合，可以完成对地面目标快速跟踪和精准打击，在地面侦察、敌我识别、精准制导等方面均有重要的应用。因此，无论从民用还是军事领域，基于无人机视角下的多目标检测和跟踪技术都有着重要的应用场景。
近年来，国内外学者对多目标跟踪领域进行了深入研究，并提出大量算法。多目标跟踪主要基于“TrackingByDetection”策略，即基于检测的多目标跟踪。其中分为传统多目标跟踪算法和基于深度学习的多目标跟踪算法。传统的多目标跟踪算法，主要通过传统的数据关联方式，关联帧和帧之间的检测结果。主要有联合数据关联JPDA,JointProbabilisticDataAssociation)、多假设跟踪(MHT,MultipleHypothesisTracking)等。基于深度学习的多目标跟踪算法主要基于图像特征设计端到端的卷积神经网络对目标进行跟踪。
2014年，Zhang基于双层自编码特征，将数据关联问题建模成求解最小生成树问题[2]，首次将深度学习用于多目标跟踪领域;Xu等人提出深度匈牙利匹配网络[3]DHN,DeepHungarianNet)，确定了合适的损失函数，使网络实现端对端的训练;Wa等人建立一个表观特征提取网络并与深度数据关联算法结合的端到端网络。针对训练样本不充足的问题，采用单目标跟踪中常用的跨帧匹配的方式，进行数据关联[4]。hu等人在端到端的网络中，融入空间注意力模块，使网络更加注意前景目标。引入循环网络，利用时间注意力机制分析目标轨迹中各个历史信息的权重，增强了算法的鲁棒性5]。
Chu等人通过局部关联的形式完成了帧的联合数据关联，通过一个连续的外积公式来近似阶关联矩阵，使端到端数据关联算法集成的更为紧密[6]。Bing等人将多目标跟踪中，检测、重识别、数据关联多个子任务合并为一个整体框架，共享任务特征，提高了网络的利用率。 然而对于传统多目标跟踪方法，提取目标信息较少，难以符合所有实际可能出现的情况;对于基于深度学习的多目标跟踪方法，可以从大量数据中提取外观、运动、交互等信息，进行建模，鲁棒性较高。
但是由于一般计算量较大，对硬件要求较高，实时性较差。而利用无人机对目标进行跟踪属于动态背景下对运动目标的跟踪，面对障碍物遮挡视角旋转等复杂情况，对跟踪技术的稳定性和准确性有着很高的要求。基于以上的分析，结合传统多目标跟踪和基于深度学习的多目标跟踪两类方法的优点，提出一种可以在无人机载平台下，对于多个目标进行自主检测与跟踪的算法。
数据关联方面参考了传统多目标跟踪算法中的匈牙利匹配算法，通过增广路径求出检测与跟踪结果的最优匹配结果。在目标信息提取方面，参考基于深度学习的多目标跟踪算法，训练了一个重识别网络，以提取不同帧的目标外观信息，同时使用卡尔曼滤波，提取不同帧间相同目标的运动信息。并将两个信息进行融合，通过匈牙利匹配算法得到最终跟踪结果。检测器使用YOLOv3算法，通过公开数据集和大量无人机采集的数据进行训练。并最终在公开数据集和实地无人机采集的数据中，对于障碍物遮挡、视角旋转、目标尺度变化三方面进行了仿真验证，取得了良好的跟踪效果。
2无人机载平台下多目标检测和跟踪算法
本节提出了一种无人机载平台下的多目标检测和跟踪算法，基于YOLOv3算法的检测结果，对无人机视角下的多个目标进行锁定和跟踪。
2.1基于深度学习的多目标检测算法
本小节介绍基于YOLOv3算法的多目标检测算法工作原理和工作流程。相比于YOLOv10算法，YOLOv算法在特征提取方面，使用更深的Darknet53网络。通过卷积层进行了五次采样，最后通过全连接层进行目标分类。同时借鉴ResNet11引入残差网络结构，很大程度上增加了网络的深度，解决了训练深度网络中的梯度消失问题，明显的提升了识别的准确率。
2.2目标运动信息匹配
本小节介绍了一种基于目标运动信息的跟踪匹配算法，如图所示。使用卡尔曼滤波根据上一帧目标位置预测本帧中目标的位置。借鉴SORT[1算法引入马氏距离，计算本帧目标预测位置和检测位置之间的马氏距离，最后根据匈牙利匹配算法进行目标运动信息匹配。
2.2.1卡尔曼滤波
卡尔曼滤波最早于1960由匈牙利数学家卡尔曼提出，是一种利用线性系统状态方程，根据输入输出数据，对系统状态进行最优解的估计算法。其核心思想为：根据当前时刻的测量值和上一时刻的预测值和误差，计算得到目前时刻的最优解，再预测下一时刻的测量值。
2.3.目标外观信息匹配
本小节介绍了一种基于目标外观信息的跟踪匹配算法。首先引入一个深度特征网络，用来提取目标外观信息。然后借鉴DeepSort算法引入余弦距离，计算不同帧间所有检测目标两两之间的余弦距离，余弦距离越小，则代表两个目标为同一目标的概率越大。
3实验与结果分析
为进一步验证提出的无人机视角下的多目标检测和跟踪算法，在UAV123数据集和实测数据集中，对于障碍物遮挡、视角旋转、目标尺度变化三类情况进行仿真验证。其中UAV123数据集中选取car、car、car共组数据，实测数据集为无人机实地采集数据共325帧，测试平台CPU为I57300HQ，GPU为050Ti。
3.1无人机视角旋转
在实际应用中，当无人机视角旋转时，由于视角移动过快等原因，可能会出现检测器在个别帧漏检情况，导致下一帧重新识别到目标时，算法错误判断成新目标，造成ID跳变。本算法中，使用外观信息和运动信息同时对重检目标进行判断，可以很大程度上避免因漏检造成的跟踪失效情况。
在实际采集的无人机数据下，测试算法在无人机视角旋转下的稳定性。可见，在第一行图片中，90帧无人机视角发生快速横向移动，导致本帧视野模糊同时检测器器失效。在97帧到01帧的过程中，依次检测到号车，最后重新跟踪成功。在第二行数据中，无人机视角发生旋转，从26帧到50帧的过程中，视野里的三辆车的暴露面逐渐改变，算法依然可以保持稳定的检测跟踪效果，不发生ID跳变。
4结论
无人机技术和计算机视觉技术的结合应用，在民用和军事领域均具有重要价值和研究意义。本文结合传统多目标跟踪算法和基于深度学习的多目标跟踪算法特点，提出基于深度学习的无人机载平台多目标检测与跟踪算法。数据关联方面参考传统多目标跟踪算法，采用匈牙利匹配算法。
深度学习论文范例：情境教育构建多样态的语文深度学习
在信息提取方面，参考基于深度学习的多目标跟踪算法，训练了一个重识别网络，以提取不同帧的目标外观信息，同时使用卡尔曼滤波，提取不同帧间相同目标的运动信息。通过一个信息融合公式，将两类信息转换成为一个成本矩阵，最后通过匈牙利匹配算法得出跟踪结果。本文提出的跟踪算法在大量公开数据集和实际采集视频中进行了仿真验证，并取得了良好的跟踪效果。
参考文献
[1]FORTMANNT,BARSHALOMY,SCHEFFEM.Sonartrackingofmultipletargetsusingjointprobabilisticdataassociation[J].IEEEJournalofOceanicEngineering,1983,8(3):173184.
[2]ZHANGLi,LIYuan,NEVATIAR.Globaldataassociationformultiobjecttrackingusingnetworkflows[C]//2008IEEEConferenceonComputerVisionandPatternRecognition.Anchorage,AK,USA.IEEE,2008:18.
作者：算法研究王旭辰韩煜祺唐林波邓宸伟
转载请注明来源。原文地址：http://www.xuebaoqk.com/xblw/6491.html
《基于深度学习的无人机载平台多目标检测和跟踪》