Page 50 - 无损检测2023年第二期

程虎跃, 等:

一种多源特征融合深度学习模型及复杂构件缺陷类型识别方法

图片数量; w 和 h 分别为输入图像的宽和高。激活 表4 缺陷的类型及数量分布
函数均采用 ReLU 函数, 优化器选用 Adam 优化 缺陷类型 训练集数目 测试集数目
器, 初始学习率为0.01 , 学习率的衰减率为0.98 , 优 裂纹 317 79
化后的学习率为0.001 。 未熔合 276 68
表2 改进 CNN 模型的主要参数 气孔 285 71

疏松 1501 375
结构层次 输出数据大小
夹杂 2589 647
In p ut [ N , w , h , 1 ]
合计
4968 1240
Conv1 , s=1 [ N , w , h , 16 ]

Conv2-Conv5 , s=1 [ N , w , h , 32 ] ( 1 )精确度, 表示判定为缺陷的图像中真实缺

Conv6 , s=2 [ N , w / 2 , h / 2 , 64 ]
陷图像所占的比例, 可定义为

Conv7-Conv9 , s=1 [ N , w / 2 , h / 2 , 64 ]
T P
Conv10 , s=2 [ N , w / 4 , h / 4 , 128 ] P = ×100% ( 12 )
T P +F P
Conv11-Conv13 , s=1 [ N , w / 4 , h / 4 , 128 ]
式中: T P 为真正例的数量; F P 为假正例的数量。
Conv14 , s=1 [ N , w / 4 , h / 4 , 64 ]
为假负例的数量。
ReliefF-Poolin g [ N , 64 ] F N

( 2 )召回率, 反映真实缺陷图像被正确判定出
FC1 [ N , 32 ]
FC2 [ N , 16 ] 来的比例, 可定义为
Out p ut [ N , 5 ] T P
R = ×100% ( 13 )
T P +F N
2 实例说明 ( 3 ) F 1 -Score , 用于综合评价精确度与召回率,

可定义为
各模型架构及其相应改进如表3所示, 为了验
2×P ×R
证所提多源特征融合深度学习模型及缺陷类型识别 F 1= ×100% ( 14 )
( P +R )
方法的有效性, 在此将该模型( CNN4 ) 与其他 3 种
CNN1在测试集上的识别结果如图4所示, 可
模型进行对比分析。
以看出, CNN1 对夹杂、 气孔缺陷的分类精确度较
表3 各模型架构及其相应改进处
高, 对裂纹、 未熔合、 疏松缺陷的分类精确度较低。
模型名称 模型架构 模型改进
这一方面原因是 CNN1在特征提取过程中, 低层网
CNN1 ResNet18 无 络不能有效提取到几何特征、 纹理特征等局部具体
CNN2 ResNet18 加入 ReliefF-Poolin g
特征; 另一方面原因是在特征图映射过程中, 对裂
CNN3 ResNet18 加入先验特征向量
纹、 未熔合、 疏松等缺陷特征存在丢失现象。
文章方法
CNN4 ResNet18
CNN2的缺陷类型识别结果如图 5 所示, 可以
验证时, 使用数据集为某航天企业提供的复杂构 看出, CNN2 的性能总体上高于 CNN1 结果, 可见
件射线检测图像, 其中复杂构件采用铸造工艺制造, 加入 ReliefF-Poolin g 后的模型对于多尺度缺陷可

包括铸铁件和铸铝件, 材料厚度为 10~30mm , 含 以在特征图映射过程中更好地保留特征信息, 更大
有裂纹、 未熔合、 气孔、 疏松、 夹杂等5种类型缺陷, 化地对特征进行利用。
各类缺陷的特征分析如1.2.1节所述。数据集图像 CNN3的缺陷类型识别结果如图 6 所示, 可以
像素大小( 长×宽) 在32×32到128×128之间, 缺 看出, CNN3 的性能较 CNN1 性能有较大提升, 可

陷的实际大小在( 长 × 宽) 在 1.2mm×1.2mm 到 见在模型中融入几何先验特征向量以及纹理先验特
6.4mm×6.4mm 之间, 每张图片缺陷区域占比约 征向量可以弥补模型低层局部特征提取能力的不

为70% , 共计6208张图像, 其中训练集占80% , 测 足, 较好地提升模型的分类性能; 另外 CNN3 整体

试集占20% 。各类缺陷的类型及数量分布如表 4 识别效果均优于 CNN2效果, 这表明虽然 CNN3相
所示, 分别使用表3中的4种模型在缺陷数据集上 对于 CNN2没有使用 ReliefF-Poolin g 在特征图映
,
进行训练与测试。 射过程丢失了一部分信息, 但其在全连接层融合了
为了便于比较不同模型的分类性能, 采用了模型 先验特征, 包括缺陷的几何先验特征和纹理先验特
精确度、 召回率、 F1-Score 等不同指标 [ 13 ] 进行计算。 征, 可以提取到更丰富的缺陷局部具体特征。
1
6
2023年 第45卷 第2期
无损检测