学术咨询服务正当时学报期刊咨询网是专业的学术咨询服务平台!
发布时间:2019-09-21 15:01所属平台:学报论文发表咨询网浏览: 次
摘要:针对行人属性分类受行人属性不均衡影响的问题,提出了一种基于属性敏感卷积神经网络的行人属性分类方法.首先调整现有的卷积神经网络结构,通过融合正反通道激活模块的使用,使模型能够感知更加详细的行人属性;其次引入属性不均衡损失函数,根据属性的不
摘要:针对行人属性分类受行人属性不均衡影响的问题,提出了一种基于属性敏感卷积神经网络的行人属性分类方法.首先调整现有的卷积神经网络结构,通过融合正反通道激活模块的使用,使模型能够感知更加详细的行人属性;其次引入属性不均衡损失函数,根据属性的不均衡比例自适应更新网络权重,利用误差的反向传播对少类属性增加其权值,提升模型对少类属性的敏感;最后在PETA数据集上,对54个属性进行了分类试验.
结果表明:相比MLCNN等方法,新方法在36分类任务上取得了提升;在平均准确度、平均召回率和平均AUC上,分别提升2.13%,2.38%和1.19%.
关键词:卷积神经网络,行人属性分类,属性敏感,属性不均衡,误差反向传播
行人特征属性分类也称为行人属性分类,它是视频监控系统的关键技术之一,其任务是在远距离监控视频中通过识别行人属性分辨出行人.同时该技术也广泛运用于商业媒体智能和视觉监控,辅助行人监控、追踪和计数等领域.近年来,尽管行人属性分类技术取得长足的发展,但是在实际场景仍然面临众多挑战,比如摄像头拍摄距离、角度、行人密集度、行人个人喜好和遮挡率等,这些不确定因素都会导致行人属性不均衡,从而影响判别方法的性能.
已有行人属性分类方法主要工作思路是获取行人全局和局部属性特征,再使用模式识别方法对行人属性进行分类.其代表性方法为MRFr2方法[1],通过对行人属性特征精细地度量,一定程度上提高了模式识别方法对行人属性的分类效果.随着深度学习的发展,基于卷积神经网络的方法,如联合深度学习(UDN)[2]、联合多属性深度学习(DeepMAR)[3]、联合姿态多属性深度学习(VeSPA)[4]和多属性深度学习(MLCNN)[5],都改善了行人属性分类的效果.
虽然基于深度学习的行人属性分类方法获得了很好的分类效果,但很少有研究关注行人属性不均衡的问题.文献[6]指出几乎所有的方法在面对行人属性不均衡时分类效果都非常低.所以考虑行人属性不均衡往往才是突破行人属性分类任务瓶颈的关键.针对上述问题,文中提出一种属性敏感卷积神经网络的行人属性分类方法.
通过调整激活模块结构和融合多尺度特征的方法[7],改进文献[5]中的卷积神经网络,具体将2个相反的特征图融合以获取更多元的细节特征,另外提取模型中的3层隐藏层的输出作为特征进行融合.为达到更好的适应性,文中设计一种属性不均衡损失函数,该函数对不均衡属性计算的损失值求取其梯度值并反向传播到网络中,使网络对不均衡属性更加敏感,通过该函数训练卷积神经网络各层权值,可以使得行人判别更加系统化.
1属性敏卷积神经网络模型
1.1改进卷积神经网络结构
由于低像素导致行人属性模糊或者层次不明显,这些不确定因素直接影响到模型对行人特征的分类效果.为学习更加详细的特征,文中汲取了文献[7]的网络结构改进经验,即加深网络的宽度和深度.具体加入inceptionV4[8]来加深网络深度,同时加入了多尺度特征融合[7]技术,学习不同尺度的特征[9-11].文中对卷积神经网络进一步改进,设计一种融合正反通道激活模块(CReLU2).
用以消除卷积神经网络负相关的滤波核.为衔接属性不均衡误差反向传播损失函数,文中使用PReLU[12]作为该网络的核心激活函数,其目的是为了保留一部分负数结果提高泛化能力.另外添加一层量纲一化模块,使得模块特征更利于期望误差的计算,试验验证添加CReLU2激活模块的网络在学习过程中能够更加关注少类特征属性,从而提高网络对少类特征属性学习能力.
网络共包含5个卷积层和1个池化层.输出尺度分别表示特征的长、宽和通道数.训练数据经预处理操作后统一尺寸为28×28,首先经过conv1_1提取特征,conv1_1选用的卷积核尺寸为3×3,步长为2,输出的特征维度为19×19×32;激活函数选用文中提出的CReLU模块,该模块将卷积输出特征的深度从16转换到32×(16+16),增强了特征的表达能力.
而conv4_1选用的是InceptionV4结构的卷积模块,步长为2,这里conv4_1的Inception结构包含有1个3×3卷积层(维度从384到64)、1个1×1卷积层(维度从384到64)和1个池化层,这3层操作并列进行.最终将它们的输出组合为128维.
文中网络结构得益于CReLU模块的加入,为了防止过拟合,没有采用特征维度越多越好的策略,而是把维度控制在384维以内,这样既能丰富特征表达能力,又能减小网络的参数量.本网络的主要优点有:①多层特征信息抽象.受脑神经科学的启发,合理地交叉链接某些层可以有利于视觉问题的计算;②计算有效性.每一层计算都被充分利用起来,没有计算和参数的冗余;③对图像细节的学习更加准确.
1.2改进损失函数
针对行人属性不均衡问题,文中设计了一种属性不均衡损失函数.该函数根据属性的不均衡比例自适应更新网络中神经元的权重,即利用误差反向传播对少类属性增加其权值,而多类属性降低其权值.每次迭代计算出真实值与预测值的误差来更新属性权重.另外,深度神经网络的每一次迭代分为多个批次分别送入样本到网络中,因此有效降低了陷入局部最优的几率.
2试验结果与分析
为了验证文中提出的改进属性敏感卷积神经网络在行人属性分类任务中的有效性,采用了PETA数据集[6]进行对比试验.
2.1试验数据集及评价指标
文中试验数据集是最新的行人特征属性分类的PETA数据集[6],该数据集是目前所有已公开的行人属性分类数据集的总和,其样本量达到了19000张.DENGY.等[6]对PETA数据集进行重新标注,其标注信息从之前的10~20维属性信息增加到了64维.可以看出数据集中有部分行人属性因为受到摄像头拍摄角度、距离、光照和遮挡率等不确定因素导致不均衡.因此文中试验都基于该数据集进行试验.
2.2性能受属性不均衡影响
为了说明行人属性不均衡对行人属性分类性能的影响,并验证文中改进方法在处理不均衡行人属性分类问题中的有效性,挑选了不同不均衡度行人属性,以及具有代表传统方法的MRFr2[1]方法和基于深度学习的方法DeepMAR[3]、MLCNN[5]、iPVANET[7]与文中方法进行对比试验.
2.3模型结果与分析
为了说明文中方法能够很好地处理行人属性分类模型受行人属性不均衡影响的问题,将文中的改进方法与多个已有性能优秀的方法进行对比试验.这些方法包括DeepMAR[3],MLCNN[5]和根据行人属性分类场景适应的iPVANET[7].在实际运用场景,虽有各种不确定因素会导致行人属性不均衡,但也不能忽视了均衡属性的分类性能.所以用完整的PETA数据集来验证文中改进方法解决行人属性不均衡问题的有效性.
3结论
1)在卷积网络中融合正反通道激活模块可以提升模型性能.
2)引入属性不均衡函数可以缓解属性不均衡对模型的影响.相比MLCNN等方法,本方法在36分类任务上取得了提升;在平均准确度、平均召回率和平均AUC上,分别提升2.13%,2.38%和1.19%.
参考文献(References)
[1]DENGYB,LUOP,LOYCC,etal.Learningtorecognizepedestrianattri-bute[EB/OL].https:∥arxiv.org/abs/1501.00901.
[2]OUYANGWL,WANGXG.Jointdeeplearningforpedestriandetection[C]∥Proceedingsofthe2013IEEEInternationalConferenceonComputerVision.Piscataway:IEEE,2013:2056-2063.
[3]LIDW,CHENXT,HUANGKQ.Multi-attributelearningforpedestrianattributerecognitioninsurveillancescenarios[C]∥Proceedingsofthe20153rdIAPRAsianConferenceonPatternRe-cognition.Piscataway:IEEE,2015:111-115.
[4]SARFRAZMS,SCHUMANNA,WANGY,etal.Deepview-sensitivepedestrianattributeinferenceinanend-to-endmodel[C]∥ProceedingsoftheBritishMachineVisionConference.London:[s.n.],2017.
[5]ZHUJQ,LIAOSC,LEIZ,etal.Multi-labelconvolutionalneuralnetworkbasedpedestrianattributeclassification[J].ImageandVisionComputing,2017,58:224-229.
相关投稿知识:《广西大学学报哲学社会科学版》(双月刊)1973年创刊,是综合性学术理论双月刊,国内外公开发行。坚持党的基本路线,贯彻“双百”方针和理论与实际相结合的原则。努力提高学术质量,反映时代精神,兼顾地方特点,增强可读性。
转载请注明来源。原文地址:http://www.xuebaoqk.com/xblw/4597.html
《基于属性敏感卷积神经网络的行人属性分类》