基于非对称混洗卷积的苹果叶部病害高精度分割

发布时间：2021-06-19 15:55所属平台：学报论文发表咨询网浏览： 次

摘要：针对苹果叶部病害由于数据集类间样本不均衡和拍摄角度、光照变化等实际成像与环境因素造成的精度低和泛化能力差的问题，本文提出了一种新型的非对称混洗卷积神经网络ASNet。首先，通过在ResNeXt骨干网络中添加改进的scSE注意力机制模块增强网络提取的

　　摘要：针对苹果叶部病害由于数据集类间样本不均衡和拍摄角度、光照变化等实际成像与环境因素造成的精度低和泛化能力差的问题，本文提出了一种新型的非对称混洗卷积神经网络ASNet。首先，通过在ResNeXt骨干网络中添加改进的scSE注意力机制模块增强网络提取的特征;其次,针对多数叶片病害特征分布相对分散的问题，使用非对称混洗卷积模块代替原始的残差模块来扩大卷积核的感受野和增强特征提取能力，从而提升模型的分割精度和泛化能力;最后,在非对称混洗卷积模块中使用通道压缩和通道混洗的方式弥补了分组卷积造成的通道间关联性不足的缺陷，降低了由于叶部病害类间不均衡导致的传统网络模型精度偏低的问题。在COCO数据集评价指标下，实验结果表明，相比于骨干网络为ResNeXt-50的原始MaskR-CNN模型，本文模型的平均分割精度达到了96.8%，提升了5.2个百分点，模型权重文件大小减小为321MB，减小了170MB。通过实地采集和AIChallanger农作物病害分割挑战赛的240幅苹果叶片图像进行测试，测试结果表明，本文模型ASNet对苹果黑腐病、锈病与黑星病3种病害和健康叶片的平均分割精度达到了94.7%。

　　关键词：苹果叶部病害分割;ASNet模型;非对称混洗卷积;通道压缩;注意力机制

　　引言苹果是我国产量最多的水果，同时中国也是世界上苹果产量最多的国家，在全世界的产量占比在50%以上。苹果病害不仅影响苹果的产量和品质，也直接影响到国家和果农的经济收益，因此，苹果的病害识别技术对病害的防治是必要和不可缺少的[13]。传统的苹果病害类别往往依赖于专业人士的判断，这在很大程度上造成了果农在面对病害时不能采取相应的方法，造成大量经济损失。

　　随着深度学习的兴起，农作物的病害叶片的分割和识别也逐渐成为研究热点。传统图像分割方法[4-5]的主要思路是使用单一阈值将叶片的病害区域从背景中提取出来，再使用机器学习方法如支持向量机来对分割出的区域进行分类，但在自然条件下采集的数据集由于环境的影响(如光照、天气、背景等)，实际的成像结果与理想状况相差较大，因此单一阈值分割的方法并不适用。同时，由于叶片病害的病斑特征分布较散，普通的阈值分割也很难将病害特征完全的提取出来。在深度学习方面，卷积神经网络具有自动从图像中逐层提取特征的优点，因此深度学习在农作物病害分割和识别的应用上有了长足发展。

　　文献[6]在VGG16模型的基础上，设计了全新的全连接层模块，将ImageNet图像数据集训练的卷积层迁移到VGG16模型中，并对仅训练全连接层的模型和训练全部层(卷积层+全连接层)的模型，两种迁移学习方式进行了试验，最终在扩充数据集和训练全部层的情况下，模型对玉米健康叶片和2种病害图像的平均识别精度达到了95.33%。文献[7-9]都提出了利用多尺度卷积融合的方法来增强网络提取的特征，从而获得了较好的测试效果，但在实地测试时精度相对较低。文献[10-11]提出通过设置不同卷积核函数和池化函数来分析模型最终的准确性，使得精度有一定提升。

　　文献[12]提出了一种基于神经结构搜索的多种农作物的病害图像识别方法，并探究了图像在缺乏颜色信息时对该结构的影响。但是当输入数据为未经处理的类别不均衡图像时，精度下降较大，因此该模型的泛化能力较差。同时，该网络需要的数据量较为庞大，而现今的单类别农作物数据集，在数据量和类别均衡程度上均很难达到要求，PlantVillage数据集中苹果锈病的病害图像仅274幅，为其他类别图像的1/3甚至更少，因此需要提前对数据集进行大量的扩充和增强。在实验数据方面，该模型训练和测试均采用的是背景单。

　　一、环境因素影响较小的公共数据集，并没有使用实地采集的数据集进行测试，因此难以确定该模型在实际应用中的效果，增加了该模型的应用难度。

　　文献[13]针对复杂场景下的农作物病害分割提出了一种融合多特征图切割的病斑自动提取方法，为了去除病害图像中的背景，在两层框架下引入了显著性检测法，同时提出了一种病斑袋模型对网络的中层特征进行有效提取，针对检索单一特征时分割率偏低的问题，采用自适应融合策略对病害图像全局和局部特征进行融合，但自然条件下的叶片病害图像的病斑存在边界不明确、遮挡、旋转等影响分割精度的因素，因此该分割方法并没有取得较高的精度，使得该模型对多种农作物病害分割的平均精度相对较低，分割正确率仅为90.8%。

　　本文基于MaskR-CNN提出一种非对称混洗卷积神经网络(AsymmetricShuffleNetwork,ASNet)，该模型在保留MaskR-CNN优点的同时，通过在骨干网络ResNeXt中添加改进的scSE注意力机制以增强网络提取的特征;通过通道压缩和通道混洗方法降低数据集总量较少和类别不均衡对精度的影响;通过非对称混洗卷积的方式增强了网络的泛化能力和特征提取能力。

　　1模型选择

　　1.1骨干网络选择

　　ResNeXt[14]结合了Inception[15]、ResNet[16]和分组卷积(GroupConvolution，GConv)[17]的优点，在保留了残差结构的同时，将原来的Block结构分解成多个相同的分支结构，输入图像被分组送入各个分支结构中分别进行卷积操作，将所有分支输出的特征图进行维度拼接得到最终的输出结果。由于每个分支结构都是由2组1×1和1组3×3卷积层堆叠而成的相同结构，因此网络总体参数量相较于ResNet骨干网络并没有大量增加。

　　1.2MaskRCNN网络模型

　　单独的检测网络分别对目标进行了定位和类别预测，即使目标分类的置信度较高，依然存在一定程度的定位不精确问题。MaskR-CNN[18]作为增加了掩码(Mask)预测分支的多任务训练网络，既保证了较高的目标分类精度，同时像素级的分割又极大提升了目标的定位精度。MaskR-CNN在FasterR-CNN的基础上增加了Mask预测分支，由原来的2个任务(分类+回归)增加到3个任务(分类+回归+分割)，而多任务训练网络能增强模型的泛化能力，同时提高网络的精度。

　　MaskR-CNN将二进制Mask与来自FasterR-CNN的分类和边界框组合，产生了精确分割的图像，实现了Mask和类别预测关系的解耦，对每一个目标物体，不仅给出其边界框，并且对边界框内的各个像素是否属于该物体进行了标记。所以MaskR-CNN是灵活通用的对象实例分割框架，可以完成目标分类、目标检测、语义分割、实例分割和人体姿势分割等多种任务。

　　1.3MaskScoringRCNN网络模型

　　MaskScoringRCNN[19]在MaskRCNN基础上做出改进。在实例分割中，Mask得分都是由实例分类的置信度分数决定的。由于Mask的质量被量化为Mask实例与其真实值(groundtruth，GT)之间的IoU，因此Mask的得分与分类置信度的相关性不强。针对这个问题，MaskScoringRCNN设计了一种新的分支结构MaskIoUHead。该结构将实例特征与相应的Mask结合起来，对MaskIoU进行回归，矫正Mask质量和Mask得分之间的偏差，使网络在训练过程中对COCO数据集的评估优先考虑更加准确的Mask预测，从而提高实例分割的精度。

　　MaskScoringRCNN网络模型在COCO数据集上取得了较好的结果，但在面对小样本的数据集时，MaskScoringRCNN网络结构较为复杂，参数存在大量冗余，时空复杂度较高。并且在本文数据集中，苹果叶部病害特征的早期颜色相似度较高，病害的病斑在叶片上空间分布广泛，模型使用的3×3卷积核的感受野较小，无法准确提取病害的特征，因此MaskScoringRCNN网络模型分割错误率增高，精度损失较大。针对上述问题，本文以增强网络特征提取能力作为切入点，使用非对称混洗卷积结构的3层并行分支共同提取图像特征并将结果进行逐像素相加以丰富目标的特征空间，提升模型精度;同时对3层分支结构分别使用分组卷积或深度可分离卷积以减少网络模型的参数量，降低时空复杂度。

　　2非对称混洗卷积神经网络

　　2.1ASNet网络结构

　　为实现小样本数据集的苹果叶部病害的高精度分割，本文提出一种精度高、泛化能力强的神经网络ASNet,网络结构。改进方法如下：(1)针对数据集样本较小、目标类别不均衡的问题，提出了通道压缩和通道混洗的方法，降低了网络模型对输入图像数量的依赖性。(2)提出了非对称混洗卷积代替3×3卷积以增强网络的特征提取能力和泛化能力。(3)改进注意力机制，扩大重要特征信息权重以提高模型的精度。

　　2.2通道压缩和通道混洗

　　2.2.1通道压缩

　　PlantVillage数据集样本较少且类别不均衡，在使用ResNeXt50骨干网络时存在大量的参数冗余，这些冗余的参数会使图像特征利用率降低，由于神经网络需要更多的图像数据来进行训练，对数据量较少的类别而言，极易导致过拟合现象的产生，使网络对该类别的测试精度降低。针对此类问题，采用通道压缩(ChannelSqueeze)的方法减小卷积层输出的通道数，以此减少网络的参数量，降低网络对输入图像数量的依赖性。

　　2.2.2通道混洗

　　通道混洗(ChannelShuffle)[20]是针对分组卷积阻碍了通道间信息流动的问题所提出的，将通道混洗层放于分组卷积层之后，能有效的提高分组卷积中不同通道间的关联性。

　　3实验结果及分析

　　3.1图像采集和数据集建立

　　实验数据集分为两部分，一部分来自公开的PlantVillage数据集，另一部分来自2018年AIChallanger农作物病害分割挑战赛和实地采集的苹果叶部病害图像。对于公开的PlantVillage数据集，本文选用了苹果叶片RGB图像1325幅，包括黑腐病358幅、锈病275幅、黑星病404幅和健康叶片288幅。将以上图像按照7：3的比例划分为训练集和测试集。将农作物病害分割挑战赛和实地采集的苹果叶部病害图像作为混合数据集。混合数据集共240幅，包括每类单目标图像60幅，用作第2测试集以确定模型的泛化能力。

　　其中实地采集的图像103幅，采集的环境包括了不同光照条件下的病害图像，包括强光、正常光照和阴天。实地采集图像使用荣耀V30pro型手机内置相机，相机像素为4000万，采集图像尺寸为2592像素×4608像素，在采集过程中，应保证病害叶片的病害区域完全包括在图像中，并尽量扩大该病害叶片在整张图像中的占比，尽可能排除背景颜色和不同叶片相互遮挡的干扰。农作物病害分割挑战赛图像137幅，由于挑战赛的图像与PlantVillage数据集有一定的相似性，因此将挑战赛获取的图像进行旋转和翻转，用于测试本文模型的鲁棒性。

　　园艺师论文投稿刊物：《果树学报》(双月刊)(原《果树科学》)1984年创刊，着重选发密切结合我国果树科研、教学、生产实际，反映学科学术水平和发展动向的优秀稿件，及时报道重大科研成果、阶段性成果和科研进展情况。内容包括生物技术、品种与种质资源、生理与栽培、土壤与肥料、植物保护、贮藏加工等。读者对象维本学科的科研人员、大专院校师生、各级管理干部及具有一定文化程度的果树(西甜瓜)栽培者。

　　4结论

　　(1)本文提出了一种非对称混洗卷积网络ASNet以作为苹果叶部病害高精度分割的模型。为深度学习在苹果叶部病害分割上的应用提供了一定参考价值。

　　(2)网络在MaskRCNN基本框架下，对骨干网络ResNeXt50进行了改进。用非对称混洗卷积代替传统3×3卷积核，同时针对小样本的数据集采用了通道压缩和通道混洗的方法减小网络对输入图像数据量的依赖性，并利用改进scSE注意力机制增强网络提取的特征，在增加精度的同时减小了模型的时空复杂度。

　　(3)提出的卷积神经网络模型ASNet对PlantVillage数据集图像的分割精度最高达到了96.8%，对混合的数据集图像的分割精度最高达到了94.7%。模型在两种数据集上均取得了较好的结果，因此模型的泛化能力较强。

　　(4)为数据集样本总量少、类间样本不均衡导致的常规深度学习模型精度偏低的问题提供了参考方案，在兼顾模型精度和轻量化两方面选择采用不同的卷积方法，即论文中提出的非对称混洗卷积模块，通过扩张卷积扩大了卷积核感受野，提升了模型对病斑特征较为分散的病害叶片的特征提取能力;同时使用并行非对称结构增强了网络对图像旋转和翻转的鲁棒性，这为苹果叶部病害的分割提供了一定参考价值。

　　[参考文献]

　　[1]王树桐，王亚南，曹克强.近年我国重要苹果病害发生概况及研究进展[J].植物保护，2018，44(5)：1325WANGShutong，WANGYanan，CAOKeqiang.OccurrenceofandresearchprogressinimportantapplediseasesinChinainrecentyears[J].PlantProtecti，2018，44(5)：1325.(inChinese)

　　[2]牟悦龙.浅谈苹果树的病害防治对策和措施[J].农业与技术，2018，38(20)：35.

　　[3]索相敏，冯少菲，郝敏.几种常见苹果叶部病害及其防治技术[J].河北果树，2018，(6)：2425.

　　[4]王建玺，宁菲菲，鲁书喜.基于支持向量机的苹果叶部病害识别方法研究[J].山东农业科学，2015，47(7)：122125.

　　作者：何自芬，黄俊璇，刘强，张印辉

转载请注明来源。原文地址：http://www.xuebaoqk.com/xblw/6606.html

《基于非对称混洗卷积的苹果叶部病害高精度分割》

• 上一篇：成人培训中心项目管理分析研究
• 下一篇：基于STM32的智慧家庭设计