Defect detection algorithm of acupuncture and moxibustion needles based on improved YOLOv8
-
摘要:
一次性针灸用针由于尺寸小,生产过程中易漏检微小缺陷。针对该问题,基于YOLOv8提出一种改进算法。首先,在Neck部分添加提取小目标的特征层,将更丰富的浅层特征传递到新增的小目标检测头；其次,在主干网络和特征融合网络之间嵌入SimAM注意力机制,提高检测的准确性和鲁棒性；最后,使用MPDIoU边界损失函数代替CIoU损失函数,提升网络的边界框回归性能。试验结果表明,改进模型对实际生产收集的数据集的平均精度为95.6%,检测速度为30.8 FPS,对于针灸用针缺陷检测具有实际应用价值。
-
关键词:
- 缺陷检测 /
- YOLOv8 /
- 微小缺陷 /
- SimAM注意力机制 /
- MPDIoU
Abstract:Disposable needles for acupuncture are small in size, which leads to the missing detection of tiny defects in the production process. In view of this problem, this paper proposed an improved algorithm based on YOLOv8. Firstly, the feature layer for extracting small targets was added to the Neck part to transfer richer shallow features to the added small target detection head; secondly, the SimAM attention mechanism was embedded between the backbone network and the feature fusion network to improve the accuracy and robustness of the detection; at last, the MPDIoU boundary loss function was used instead of the CIoU loss function to improve the bounding box regression performance of the network. The experimental results showed that the improved model had an average accuracy of 95.6% and a detection speed of 30.8 FPS on the dataset collected from the actual production, which was valuable for the practical application of the defect detection of needles used in acupuncture and moxibustion.
-
Keywords:
- defect detection /
- YOLOv8 /
- small defect /
- SimAM attention mechanism /
- MPDIoU
-
一次性针灸用针在生产过程中需要对其外观缺陷（如钝头、毛刺、弯尖等）进行检测。由于针体细小（直径约 0.25 mm）,其毛刺、钝头等缺陷在图像中像素少（15~30个像素）且缺陷位置变化大、同类型缺陷存在较大差异,所以传统视觉检测的精度低且速度慢,难以满足实际生产检测需求。
现有针灸用针的传统视觉检测方法,通常是先进行图像预处理,接着进行特征提取、匹配,然后根据特征匹配的结果计算图像之间的差异,最后得到检测结果。在整个检测过程中,检测效果极大程度上受成像效果的影响,故传统检测方法难以处理缺陷形状和尺寸的变化,无法区分较小的内缺陷,也就是说,针灸用针的检测难点在于微小缺陷的识别。
针对微小缺陷,国内外学者做了许多相关工作。在传统机器视觉方面,周李洪等[1]提出了一种通过Gabor小波去噪、Otsu阈值分割法和加权马氏距离计算的检测方法,实现汽车金属材料表面微小缺陷的快速识别,精度和速度有所提高,但检测容易受光照、局部特征分布不均的影响、无法获取图像中的非线性特征。周新颖等[2]提出将基于小波增强与Canny算法融合的方法用于检测锂电池极片缺陷,但是该方法对于图片质量的要求较高,图像中的噪声可能被放大。SINDAGI等[3]将改进后的局部二值模式（Local binary pattern,LBP）与支持向量数据描述（Support vector data description,SVDD）结合提出A-SVDD方法,其对于宏观缺陷的处理效果良好,但对划痕、斑点等微观缺陷的处理效果不佳。在深度学习方面,丛明等[4]提出了Refine-ACTDD算法,通过密排锚点、添加注意力机制实现了端到端检测,检测铸件缺陷的平均精度达到了95.44%。CAO等[5]指出：对于小目标的检测,浅层网络提取的特征对微小缺陷有更好的检测效果。BAI等[6]将Faster R-CNN和SVDD算法结合用于紧固件分类检测,其检测速度为16.15 FPS（Frames Per Second）。张开生等[7]提出一种改进的YOLOv5s网络PCB 缺陷检测方法,平均检测速度为52.63 FPS。
综上所述,对于小缺陷检测,传统算法的泛化能力不足,检测效果受光照、灰度分布、图像质量的影响；深度学习算法中的经典算法：YOLO[8]、SSD[9]、RetinaNet[10]等一阶段检测算法,存在训练时间较长、对硬件的要求高,但是相较于二阶段检测算法,其在检测速度上有优势,更适用于工业应用场景。结合以上分析,选择当前最新的YOLOv8模型作为基础模型进行改进,以提高针灸用针缺陷的检测精度。
1. YOLOv8算法
YOLOv8是目前最新的YOLO模型,用于自动驾驶、视频监控、工业检测、人脸识别等任务。
YOLOv8模型主要由Backbone、Neck、Head三个部分组成,其结构如图1所示。Backbone包含Conv、C2f、SPPF等模块,在YOLO模型中起提取图像特征、捕捉上下文信息等重要作用,从而为后续的目标检测任务提供基础特征。其中,Conv模块用于提取图像特征、增加非线性并减少特征图的尺寸；C2f 结构通过加入更多的分支,丰富梯度回传时的枝干,实现多尺度信息融合；SPPF将金字塔池化的结果缓存下来,在后续的目标检测任务中共享使用。Neck部分将来自不同层级的特征进行融合,获得具有多尺度信息的特征图。Head部分接收Neck获取的加强特征,并映射到目标检测结果上,实现对目标的准确定位和分类。
虽然v8通过引入更多的卷积层获得更大的感受野,提高了检测的准确性和召回率,同时具备较高的实时性能,但是多次的卷积、池化等下采样操作,使得YOLOv8难以检测微小缺陷,因此需要对YOLOv8的结构进行改进。综合考虑检测任务的速度与精度,选择模型尺寸较小、检测精度和实时性较高的YOLOv8s作为基础模型。
2. 改进的YOLOv8检测算法
首先改进Neck部分,利用路径融合将浅层特征用于新增的检测头,增强模型对微小缺陷的检测能力；其次在网络的骨干部分,添加注意力机制SimAM[11],在不增加模型计算量的前提下,使模型关注重要的特征区域；最后为提升网络模型边界框的收敛速度,引入 MPDIoU[12]损失函数。改进后的模型结构如图2所示。
2.1 改进的Neck
Neck是指主干网络（Backbone）之后的一系列卷积层或模块,用于进一步提取特征并调整特征图的尺寸和通道数。通常Neck部分会融合较小尺寸与较大尺寸的特征图,提高对不同尺度目标的表达和提取能力。较小的特征图具有较低的空间分辨率和较大的感受野,适合用于检测较大的目标[13]。在Neck部分加入了更多跨阶段特征融合策略,通过添加浅层特征输出,将不同层次的特征表示进行有效地结合；跨阶段特征融合使模型能够同时利用低层次的细节特征和高层次的抽象特征,增强了特征的表达能力,缓解了梯度消失问题,从而提高模型的训练稳定性和收敛速度[14]。
将Backbone浅层网络提取的特征与深层的特征进行多尺度特征融合。输入图像的大小为640×640（单位：pixel,下同）,首先通过堆叠两个Conv进行两次卷积核大小为3,步长为2的卷积操作,输出128个尺寸为160×160的特征层p2。然后堆叠卷积和C2f模块提取得到更高纬度的特征层：p3,p4,p5对应大小为80×80,40×40,20×20的特征图。继续通过SPPF结构进行连续三次最大池化操作,卷积核统一为5×5,Padding为2,保证每次池化后特征图大小不变,将池化前的输入通过Shortcut与每次池化后的结果进行拼接,再使用SimAM注意力机制帮助模型聚焦于图像中的重要区域。最后将输出的特征与p2特征层拼接并使用C2f进行融合,使得模型能检测4×4及其以上像素大小的缺陷,提升对小缺陷的检测能力。
2.2 SimAM注意力机制
注意力机制使得神经网络可以更加关注与目标相关的区域[15]。常见的注意力机制,将不同位置的特征或各个通道进行加权融合,自适应地学习权重矩阵或权重向量以突出重要的区域或特征。注意力机制分为空域注意力与通道注意力,而人脑工作时两种机制往往是协同进行的。
SimAM是一种无参数注意力机制,是一种轻量型且非常有效的注意力模块。SimAM注意力模块将空间注意力与通道注意力相结合,并且没有增加计算量。在人的视觉系统,当一个明亮目标出现时,受能量刺激激活的视觉神经元会抑制附近的神经元。这种侧抑制机制有助于提高视觉系统对边缘、轮廓和细节的感知能力。SimAM同样遵循这一机制,使用能量函数发掘每个神经元的重要性,用式（1）表示。
(1) 式中：t,xi为输入特征X∈RC*H*W的单一通道中的目标神经元和其他神经元；i为空间维度上的指数；M=H×W为该通道上的神经元数量；ωt和bt为对变换的加权和偏置；λ为正则化系数,具有关于ωt和bt的快速闭合形式解,避免使用优化器而带来的运算。
(2) (3) (4) (5) 式中：μt,
为前通道所有神经元的平均数和方差。 基于统计平稳性和通道特征一致的前提,计算所有神经元的平均值和方差
替换μt,代入能量函数,得出最小能量公式为 
(6) 能量
越低,神经元t与周围神经元差异越大,对视觉处理更重要,因此每个神经元的重要性可以通过最大化 来判断。 
(7) 式中：X为输入的Feature Map；E为对所有
在通道和空间维度上进行分组；在⊙为点积运算,通过激活函数Sigmoid对目标神经元进行增强。 2.3 MPDIoU
IoU （intersection over union）为目标检测任务中一种评判预测框与标注框重叠程度的指标,常用的IoU有CIoU[16]、EIoU[17]。
通常IoU在遇到预测框与标注框具有相同纵横比,但宽度和高度值不同的情况时,边界框回归的损失函数几乎没有变化。这导致边界框回归的收敛速度和准确性降低。为了解决这一问题,在考虑现有损失函数中所有相关因素的前提下,并力求简化计算过程,提出了基于MPDIoU的边界框回归损失函数。
(8) (9) (10) 式中：上标a,b分别代表标注框和预测框；下标的1,2分别代表对应框的右上角和左下角；式（8）中的
, 表示对对角线的归一化操作,以便于将对角线距离与IoU进行同尺度比较；c1用来调整对角线距离的权重,以便更好地衡量位置偏移对IoU的影响。 3. 试验条件
试验平台为Ubuntu20.04,CPU为AMD EPYC 7543,GPU为GeForceRTX 3090。采用CUDA 11.3进行并行加速,基于Python3.8的PyTorch 1.11.0深度学习框架进行实现。文章的数据集来自生产现场,为通过500 W工业相机获取的1 632 张一次性针灸用针的缺陷图片,其中钝头、毛刺、弯尖、异物的数量分别为450,380,421,382 张,按照8∶2的比例划分为训练集和验证集。无预训练权重进行训练,epoch为300,batch size为8,图像大小为640×640,使用Adam优化器,初始学习率为0.001,动量为0.937。在训练过程中使用实时数据增强方法对训练集中的图片进行在线增强,通过缩放、左右翻转、上下翻转提升模型的鲁棒性。
数据集展示如图3所示。IoU为预测框和标注框的交集与并集的比值,如式（8）所示,用于评价预测框的精准程度以判定预测是否正确。IoU越接近1说明预测框与真实框重合程度越高,检测的质量越优。
对于分类任务,根据目标的实际类别和预测类别的情况,将样本划分为TP、TN、FP、FN四种。评价指标包括精密度（Precision）、召回率（Recall）、平均精密度（Mean average precision）。混淆矩阵如表1所示。
(11) (12) (13) (14) 式中：P为模型在测试集上的分类正确率；R为召回率,其值越高,表示模型能够识别更多的真实正例,模型的覆盖率越高；mAP（平均精度均值）为目标检测任务中常用的评估指标,综合考虑模型在不同类别上的准确性和召回能力,采用每秒帧数来评估模型的速度。
Table 1. 混淆矩阵实际 预测 正 负 正样本 TP：正样本,预测为正 TN：负样本,预测为正 负样本 FP：正样本,预测为负 FN：负样本,预测为负 4. 试验过程与分析
4.1 消融试验
文章模型由YOLOv8s改进所得,为了验证各改进策略的有效性进行消融试验。
4.1.1 Neck结构有效性验证
为验证针对微小缺陷检测改进的有效性,将v8s与添加小目标特征层的模型,在同一试验环境下进行试验,结果如表2所示。
Table 2. Neck结构验证试验方法 各类缺陷平均精度/% mAP@0.5 钝头 毛刺 弯尖 异物 YOLOv8s 93.4 86.4 93.4 92.4 0.914 YOLOv8s-p2 94.3 92.9 94.2 93.0 0.936 通过表2的检测结果可知,添加p2特征层输出后,模型的平均检测精度提升了2%,在IoU阈值为0.5到0.95范围内的精度和召回率之间的平衡更好。各类缺陷的精度均有所提升,钝头、弯尖、异物各自提高了0.9%,0.8%,0.6%。其中微小缺陷较多的毛刺类缺陷,添加小目标检测层后,在原模型的基础上提升了6.5%。这表明Neck结构的改进,能有效提高微小缺陷的检测精度。
4.1.2 注意力机制有效性验证
在YOLOv8S基础上,在Backbone与Neck之间分别添加LSK[18]、SE[19]、EMA[20]、SimAM注意力机制,在同一试验环境下进行验证试验,结果如表3所示。
Table 3. 不同注意力机制的有效性验证试验结果方法 P/% R/% mAP@0.5 浮点运算次数 YOLOv8s 90.7 89.4 0.914 28.7 G +LSK 90.5 91.8 0.928 29.0 G +SE 91.0 92.1 0.931 28.7 G +EMA 91.2 92.0 0.932 28.9 G +SimAM 91.3 92.3 0.937 28.7 G 由表3可以看出,SimAM注意力机制提高了检测精度,同时并没有增加多余的计算量。这表明与LSK、SE、EMA注意力机制相比较,在YOLOv8s模型中添加SimAM注意力机制能够更好地增强模型对图像重要区域的关注和理解能力。
4.1.3 IoU有效性验证
为验证IoU改进的有效性,将默认使用CIoU与仅替换损失函数的模型,在同一试验环境下进行试验,为更直观地体现损失函数对性能的影响,绘制训练过程边界框回归的损失曲线（见图4）,试验结果如表4所示,可见,替换MPDIoU后模型与原模型相比精度提高0.5%、召回率提高3%,其mAP@0.5和mAP@0.5:0.95分别提升了0.015和0.034。
Table 4. IoU验证试验结果IoU P/% R/% mAP@0.5 mAP@0.5:0.95 CIoU 90.7 89.4 0.914 0.443 MPDIoU 91.2 92.4 0.929 0.477 综上,改进后的损失函数具有更高的准确性,更快的收敛速度。
4.2 对比试验
为验证算法改进的效果,选取经典算法：Fast-R-CNN、SSD、YOLOv5s、V7-Tiny、YOLOv8s与改进算法进行对比,结果如表5所示。
Table 5. 经典算法对比试验结果模型 R/% P/% mAP@0.5 速度/FPS Fast R-CNN 77.8 73.3 0.753 11.8 SSD 89.6 88.3 0.907 58.4 YOLOv5s 90.1 89.5 0.912 44.3 YOLOv7-tiny 87.0 80.3 0.871 37.5 YOLOv8s 90.7 89.4 0.914 38.7 Ours 94.3 93.5 0.956 30.8 从表5中可以看出,在检测精度方面,Fast R-CNN对针灸用针的检测效果不佳；SSD通过多层级结构提高了不同尺度缺陷的检测能力,但是对于小目标的检测还有所欠缺；YOLO系列算法的v7-tiny使用较低的检测分辨率降低了计算量,从而提高了检测速度,但较小目标物体的检测性能较差；v5s使用耦合头,同时预测目标位置和类别。v8s使用c2f通过并行更多的深度分支,获得更丰富的特征信息,并通过解耦头部分别学习、提取目标位置和类别。在YOLOv8的基础上,改进后算法的召回率、准确率、平均精度均值分别提高了3.6%,4.1%,0.042,检测速度为30.8 FPS,能够满足工业检测的需要。
YOLOv8s模型和改进模型对数据集的检测效果如图5,6所示。从图6可知,其置信度均有0.03~0.05的提升。图5（b）,（e）和图6（b）,（e）各自包含3处相同的缺陷,其中2处为微小缺陷。在基础模型中检测出1处缺陷,未能检出（b）,（e）中的微小缺陷,而改进后的模型成功检测出3处缺陷。从对比试验的结果来看,改进后的模型对微小缺陷的检测能力有显著提升。
5. 结论
针对一次性针灸用针小缺陷难以检测的问题,文章基于YOLOv8提出了一种改进算法。改进措施如下：通过残差连接让高分辨率特征直接传递到小目标检测头,加入不增加参数量的注意力机制SimAM,引入基于最小点距离的MPDIoU。试验结果表明,改进后模型的mAP为95.6%,较原模型提高了4.2%,尤其在微小缺陷的检测精度上有较高提升,其检测速度为30.8 FPS,符合实际生产要求的17 FPS,因此改进后算法能够满足需求。
-
Table 2 Neck结构验证试验
方法 各类缺陷平均精度/% mAP@0.5 钝头 毛刺 弯尖 异物 YOLOv8s 93.4 86.4 93.4 92.4 0.914 YOLOv8s-p2 94.3 92.9 94.2 93.0 0.936 
下载: 导出CSV
Table 3 不同注意力机制的有效性验证试验结果
方法 P/% R/% mAP@0.5 浮点运算次数 YOLOv8s 90.7 89.4 0.914 28.7 G +LSK 90.5 91.8 0.928 29.0 G +SE 91.0 92.1 0.931 28.7 G +EMA 91.2 92.0 0.932 28.9 G +SimAM 91.3 92.3 0.937 28.7 G
下载: 导出CSV
Table 4 IoU验证试验结果
IoU P/% R/% mAP@0.5 mAP@0.5:0.95 CIoU 90.7 89.4 0.914 0.443 MPDIoU 91.2 92.4 0.929 0.477
下载: 导出CSV
Table 5 经典算法对比试验结果
模型 R/% P/% mAP@0.5 速度/FPS Fast R-CNN 77.8 73.3 0.753 11.8 SSD 89.6 88.3 0.907 58.4 YOLOv5s 90.1 89.5 0.912 44.3 YOLOv7-tiny 87.0 80.3 0.871 37.5 YOLOv8s 90.7 89.4 0.914 38.7 Ours 94.3 93.5 0.956 30.8
下载: 导出CSV
-
[1] 周李洪,龚金科,李兵.基于Gabor小波的汽车金属材料表面微小缺陷快速识别[J].中南大学学报（自然科学版）,2021,52（4）：1099-1108. [2] 周新颖,胡跃明.基于小波增强与Canny算法融合的锂电池极片缺陷检测方法[J].电子测量技术,2023,46（4）：149-154. [3] SINDAGI V A ,SRIVASTAVA S.Domain adaptation for automatic OLED panel defect detection using adaptive support vector data description[J]．International Journal of Computer Vision,2017,122（2）：193-211. [4] 丛明,卢长奇,刘冬,等.基于Refine-ACTDD的铸件外观微小缺陷检测方法[J].计算机集成制造系统,2022,28（9）：2815-2824. [5] CAO C Q ,WANG B ,ZHANG W R ,et al.An improved faster R-CNN for small object detection[J]．IEEE Access,2019,7：106838-106846. [6] BAI T B ,YANG J W ,XU G Y ,et al.An optimized railway fastener detection method based on modified Faster R-CNN[J]．Measurement,2021,182：109742． [7] 张开生,李昊晨,关凯凯,等.基于LT-YOLOv5s的PCB缺陷检测方法[J].试验室研究与探索,2023,42（2）：108-114. [8] REDMON J,DIVVALA S,GIRSHICK R,et alYou only look once：unified,real-time object detection2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）Las Vegas,NV,USAIEEE2016779788REDMON J ,DIVVALA S ,GIRSHICK R ,et al.You only look once：unified,real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）．Las Vegas,NV,USA: IEEE,2016：779-788. [9] LIU W,ANGUELOV D,ERHAN D,et alSSD：single shot MultiBox detectorEuropean Conference on Computer VisionChamSpringer20162137LIU W ,ANGUELOV D ,ERHAN D ,et al ．SSD：single shot MultiBox detector[C]//European Conference on Computer Vision．Cham：Springer,2016：21-37. [10] LIN T Y,GOYAL P,GIRSHICK R,et alFocal loss for dense object detection2017 IEEE International Conference on Computer Vision（ICCV）Venice,ItalyIEEE201729993007LIN T Y ,GOYAL P ,GIRSHICK R ,et al.Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision（ICCV）．Venice,Italy: IEEE,2017：2999-3007. [11] GUO N,JIANG M Y,GAO L J,et alSimam: A simple, parameter-free attention module for convolutional neural networksInternational conference on machine learningPMLR20211186311874GUO N ,JIANG M Y ,GAO L J ,et al ． Simam: A simple, parameter-free attention module for convolutional neural networks[C]//International conference on machine learning. PMLR, 2021: 11863-11874. [12] MA S L,XU YMPDIoU：a loss for efficient and accurate bounding box regression20232307.07662MA S L ,XU Y.MPDIoU：a loss for efficient and accurate bounding box regression[EB/OL]．2023：arXiv, 2307.07662． [13] 徐晓光,李海.多尺度特征在YOLO算法中的应用研究[J].电子测量与仪器学报,2021,35（6）：96-101. [14] HE K M,ZHANG X Y,REN S Q,et alDeep residual learning for image recognition2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）Las Vegas,NV,USAIEEE2016770778HE K M ,ZHANG X Y ,REN S Q ,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）．Las Vegas,NV,USA: IEEE,2016, 770-778. [15] 祁宣豪,智敏.图像处理中注意力机制综述[J/OL].计算机科学与探索,2023：1-20．[2023-06-30]． https://kns.cnki.net/kcms/detail/11.5602.TP.20230629.1447.002.html． [16] ZHENG Z H,WANG P,LIU W,et alDistance-IoU loss: Faster and better learning for bounding box regressionProceedings of the AAAI conference on artificial intelligenceIthacaarXiv20203471299313000ZHENG Z H ,WANG P ,LIU W ,et al ． Distance-IoU loss: Faster and better learning for bounding box regression[C]//Proceedings of the AAAI conference on artificial intelligence. Ithaca: arXiv, 2020,34（7）：12993-13000. [17] ZHANG Y F, REN W, ZHANG Z, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing,2022,506: 146-157. [18] LI Y X,HOU Q B,ZHENG Z H,et alLarge selective kernel network for remote sensing object detection20232303.09030LI Y X ,HOU Q B ,ZHENG Z H ,et al.Large selective kernel network for remote sensing object detection[EB/OL]．2023：arXiv：2303.09030． [19] HU J,SHEN L,SUN GSqueeze-and-excitation networks2018 IEEE/CVF Conference on Computer Vision and Pattern RecognitionSalt Lake City,UT,USAIEEE201871327141HU J ,SHEN L ,SUN G.Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City,UT,USA: IEEE,2018：7132-7141. [20] OUYANG D L,HE S,ZHANG G Z,et alEfficient multi-scale attention module with cross-spatial learningICASSP 2023-2023 IEEE International Conference on Acoustics,Speech and Signal Processing（ICASSP）Rhodes Island,GreeceIEEE202315OUYANG D L ,HE S ,ZHANG G Z ,et al.Efficient multi-scale attention module with cross-spatial learning[C]//ICASSP 2023-2023 IEEE International Conference on Acoustics,Speech and Signal Processing（ICASSP）．Rhodes Island,Greece: IEEE,2023：1-5.
计量
- 文章访问数: 22
- HTML全文浏览量: 9
- PDF下载量: 9
