Image recognition and enhancement of X-ray detection of weld defects based on deep learning
-
摘要:
为了提高焊缝缺陷X射线图像识别的准确率,需要采用有效的图像增强技术,笔者研究了不同图像增强方法对焊缝图像质量的影响,用峰值信噪比、结构相似度、结构清晰度、信息熵等参数对图像增强质量进行评价。试验结果表明,直方图均衡化（HE）与限制对比度自适应直方图均衡化(CLAHE)有较好的对比度增强效果,非局部均值滤波(NLM)与小波降噪(DWT)的去噪综合表现较好。基于CLAHE-NLM的图像增强处理可以更有效地帮助深度学习模型进行焊缝缺陷分类识别,焊缝缺陷分类的准确率与F1值达97.6%和96.93%,相较于未增强处理的数据集提高了3.2%与5.23%。
Abstract:In order to enhance the accuracy of X-ray image recognition for weld seam defects, it is essential to employ effective image enhancement techniques. this study investigates investigated the impact of different image enhancement techniques on the quality of weld seam images. The parametersEvaluation metrics such as Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), Structural Clarity, and Information Entropy wereare employed to assess the quality of image enhancement. Experimental results indicated that histogram equalization (HE) and contrast-limited adaptive histogram equalization (CLAHE) exhibited superior contrast enhancement effects, while non-local means filtering (NLM) and discrete wavelet transform (DWT) performed well in noise reduction. Image enhancement processing based on CLAHE-NLM proveds to be more effective in assisting deep learning models for weld seam defect classification and recognition. The accuracy and F1 score of weld seam defect classification reached 97.6% and 96.93%, respectively, representing an improvement of 3.2% and 5.23% compared to the data set without enhancement preprocessing.
-
Keywords:
- image enhancement /
- deep learning /
- weld defect /
- X-ray
-
X射线检测是常用的焊缝缺陷检测技术,但缺陷的形态、大小、方向具有不确定性,使得射线底片评价较为复杂[1],仅依赖人工进行焊缝质量检测,时间较长且效率低,无法满足现代化焊接技术的要求。因此,将深度学习应用于焊缝缺陷的智能化检测已经成为备受研究者和工程技术人员关注的前沿领域[2-4]。
深度学习是一种基于数据驱动的端到端学习[5],可以自动学习数据的内在规律及表示层次,不需要从数据中手动提取更加复杂的特征,从而提高了模型的准确性和泛化能力。在X射线检测领域,深度学习应用的主要目标是通过对大量数据进行训练,实现对缺陷的自动识别和分类,以提高检测的准确性和效率[6]。在焊缝X射线检测中,作为数据的X射线底片往往存在图像质量较差、噪声干扰、对比度不足等问题,所以在进行深度学习模型训练前,需要对图像进行对比度调整、图像降噪等预处理操作,优化图像质量进而提高模型的学习效果[7-12]。
为分析图像增强对焊缝X射线图像质量和分类识别的影响,文章以峰值信噪比、结构相似度、无参考结构清晰度、信息熵等参数对图像增强质量进行评价；在此基础上对X射线焊缝缺陷图像数据集进行图像增强处理,以ResNet-50模型对预处理的焊缝缺陷进行训练及识别,并以准确率、精确率、召回率、F1值对识别效果进行评估。
1. X射线检测图像增强与评价原理
由于X射线成像本身的特殊性质,获取X射线图像的过程受设备、操作环境等多方面的影响,可能会出现噪声多、对比度低、缺陷边缘模糊等问题。这些问题会严重影响到检测算法的性能,导致后续的分析与评价出现误差。因此,需要对X射线检测图像进行预处理,这不仅可以突出焊缝X射线底片中缺陷的轮廓、灰度等细节特征[13],提高图像清晰度,而且还可以使图像更有利于计算机的分析和处理,从而提高深度学习模型的训练效果。常见的X射线图像预处理操作包括图像色彩空间变换、对比度增强、降噪等。
1.1 图像色彩空间变换
焊缝缺陷X射线检测图像的区别通常体现在灰度级别上,因此使用灰度图像可以更清晰地展示焊缝缺陷的特征；此外,在许多情况下,使用灰度图像可以提高图像处理和模型训练的效率和准确性,同时减少计算成本和内存需求。但是通过专业的扫描仪器采集到计算机中的X射线检测图像是以三通道的RGB（红绿蓝）图像的方式呈现的,因此,还需要借助图像色彩空间变换将X射线检测图像从RGB空间转换到灰度空间。文章采取加权平均灰度处理算法,将X射线检测图像由RGB三通道色彩图转换为单通道的灰度图。
1.2 图像对比度增强
对比度增强广泛应用于数字图像处理、计算机视觉、模式识别等领域[14]。焊缝X射线检测图像的灰度值范围很窄,各区域之间的对比度不高,不利于观察。对比度增强处理能够提升图像的质量,增强缺陷的可见性,并为后续的分析和算法提供更有利的条件,从而提高焊缝缺陷的检测和识别效果。笔者使用的对比度增强技术包括直方图均衡化（HE）、限制对比度自适应直方图均衡（CLAHE）、灰度线性变换（GLT）、伽马变换（GT）等[15]。
1.3 图像降噪处理
X射线检测图像的噪声会受到多方面影响,常见的有随机噪声、统计噪声、电子噪声,这些噪声可能分布在图像中的各个位置[9]。图像降噪是一个减少图像现有噪声并最大限度减少图像中特征损失的过程。X射线检测图像去噪的目的是保留缺陷边缘细节的同时去除图像的噪声,笔者使用的降噪算法有自适应中值滤波（AMF）[16]、非局部均值滤波（NLM）[17]、双边滤波（BF）[18]、基于离散小波变换（DWT）的降噪等[15]。
1.4 图像增强的评价与表征
为了量化分析算法对图像的重建效果、细节保留以及噪声抑制效果,笔者使用峰值信噪比（PSNR）[9]、结构相似性指数（SSIM）[19]、无参考结构清晰度（NRSS）[20]和信息熵[8]作为指标。这些指标可用于衡量图像增强后的质量,并提供了对比和描述算法性能的依据。
2. 基于神经网络的缺陷分类试验
2.1 数据集的组成
文章使用的数据集取自于某船舶工厂,经扩增后共包含1 804张焊缝缺陷图片,使用美国VIDAR公司设计的工业底片扫描仪,对该批原始X射线底片进行扫描读取,并储存为JPG格式的图片文件,最后人工截取出尺寸为224像素×224像素（长×宽）的缺陷部分作为数据集。数据集共包含804张气孔缺陷图片,520张夹杂缺陷图片以及480张裂纹缺陷图片,按4∶1的比例划分为训练集与测试集。
2.2 缺陷识别模型与分类评价
该研究的目的是探究图像增强对焊缝缺陷图像识别的影响,所以选用常规的ResNet50模型作为训练模型。ResNet50网络由49个卷积层和1个全连接层构成,该模型引入了残差块的设计,缓解了常规CNN网络达到一定深度后会出现的梯度消失的问题,使用较广泛。由于使用的数据集是非平衡数据集,故按照以下公式计算准确率（A）、精确率（P）、召回率（R）、F1值,对训练后的网络性能进行评估,即
(1) (2) (3) (4) 式中：TP为正例样本被正确预测的数量；TN为反例样本被正确预测的数量；FP为反例样本被错误预测为正例的数量；FN为正例样本被错误预测为反例的数量。
3. 结果与分析
3.1 焊缝射线图像增强结果与视觉分析
选择3种缺陷的X射线检测图像作为研究对象,首先探究了对比度增强算法对图像质量的影响；在此基础上,以引入噪声最多的直方图均衡化后的图像作为原图,进一步探究降噪算法的影响与作用。
3.1.1 对比度增强算法对缺陷图像质量的影响
气孔、夹渣、裂纹3类缺陷图像分别使用伽马变换（GT）、直方图均衡化（HE）、限制对比度自适应直方图均衡化（CLAHE）、灰度线性变换（GLT）等4种对比度增强算法处理后的图像如图1所示。同时,鉴于各种缺陷的对比度增强效果相似,以气孔缺陷为例,使用灰度分布直方图进一步展示了对比度增强算法对图像质量的影响,其结果如图2所示。
由图1（a）,图2（a）中3种缺陷的原始图像及其直方图可以看出,原始X射线检测图像的灰度值分布在一个较为狭窄的暗区范围内,亮度与对比度较低,图片中的焊缝缺陷轮廓与精细结构不能被很好地观测出来。
伽马变换后的图像整体亮度与对比度都有一定的提升,缺陷的边缘细节可以清晰地观测出来,整体观感较好,其灰度值被均匀地拉伸在25~225的范围内,如图1（b）和2（b）所示。
直方图均衡化处理后的图像整体亮度有较大的提升,缺陷与周围部分的对比度明显增大,容易找到缺陷的位置且缺陷部分的细节轮廓特征更加清晰,但是该算法引入了过多的噪声[见图1（c）]。如图2（c）所示,直方图均衡化后的图像灰度值在0~255的范围内均匀分布,但过渡不平滑。
与常规均衡化处理的图像相比,经CLAHE处理的图像保留了局部对比度明显增强的特性,同时引入了更少的噪声,图像整体观感更加自然,可以清晰地观测到缺陷部分的外轮廓,其边缘锐利度很高,在处理裂纹缺陷时表现尤为突出[见图1（d）]。如图2（d）所示,CLAHE算法对应的灰度直方图可以清晰地分辨出灰度峰的位置,且过渡平滑。
使用灰度线性变换将原始图像的灰度范围拉伸至原来的二倍,然后将颜色对调,结果如图1（e）所示,其视觉效果呈现为黑白对调,明显不同于其他几种算法得到的图像,图像整体处于高亮度状态,缺陷部分呈现为白色,突出了缺陷中一部分细节特征,引入噪声较少。
由此可见,不同对比度算法对3类缺陷图像的质量产生了一定的增强效果,无论是图像的结构清晰度、边缘锐利度还是背景的对比度都有所提升,但也不同程度地引入了噪声。
3.1.2 降噪算法对缺陷图像质量的影响
为了更直观地展示降噪效果,选用上文中引入噪声最多的直方图均衡化后的图像作为原图,对其进行不同方式的降噪处理,降噪效果如图3所示。
由图3可以看出,经过滤波后的图像变得更加平滑,但不同的滤波算法在降噪的同时不同程度地牺牲了图像的清晰度即边缘锐利度。
其中,图3（b）表明自适应中值滤波（AMF）较好地保留了图像的细节信息,缺陷部分的边缘轮廓几乎没有发生改变,整体噪声去除效果一般,且计算量较大。如图3（c）所示,非局部均值滤波（NLM）处理后得到了平滑流畅的图像,但与自适应中值滤波相同,其需要较大的计算成本,同时缺陷的小型结构被视为噪声而移除。如图3（d）所示,双边滤波（BF）的去噪效果良好,计算时间快,同时保留了缺陷的小特征,但是在缺陷的边缘附近可能会残留一些噪声。如图3（e）所示,经小波变换（DWT）降噪处理后的图片看起来更加自然,原始图像的边缘细节也被有效地保留下来,没有产生过度模糊的情况,整体来看小波降噪拥有最好的视觉效果。
3.2 焊缝射线检测图像增强的客观评价
3.2.1 对比度增强算法的客观评价
采用峰值信噪比（PSNR）、无参考结构清晰度（NRSS）、信息熵3个指标来评价伽马变换（GT）、直方图均衡（HE）、限制对比度自适应直方图均衡化（CLAHE）、灰度线性变换（GLT）等4种对比度增强算法对3种缺陷图像的增强作用,其结果如图4~6所示。
由图4可以明显看出,对于PSNR指标,CLAHE算法处理后的图像得到了最好的效果。其余3种增强方法对于不同的缺陷类型表现不同,伽马变换处理气孔缺陷时表现较好,灰度线性变换处理夹杂时表现较好,直方图均衡化处理裂纹时表现较好,但都不如CLAHE算法。
由图5可以看出,对于NRSS指标（无量纲）,相较于原始图像,4种对比度增强处理后的图像结构清晰度都有较大提升。其中HE与CLAHE算法的表现效果较好,远优于其余两种方法的效果。
由图6可以看出,对于信息熵指标,经HE处理后的图像,信息熵是最高的,但结合视觉效果分析,信息熵可能包含了引入噪声的影响。整体来看,GT与CLAHE算法带来的提升相差不大,次于HE但优于GLT。
显而易见,无论采用哪种对比度增强算法,相较于原始图片,缺陷图像质量均得到了改善。综合考虑各项评价指标对不同增强算法的响应,可知,伽马变换（GT）对3类缺陷图像质量的增强作用要略高于灰度线性变换（GLT）的,但比直方图均衡化（HE）和限制对比度自适应直方图均衡化（CLAHE）的作用效果差,后两者的作用相当。
3.2.2 降噪算法的客观评价
采用峰值信噪比（PSNR）、结构相似度（SSIM）、信息熵3个指标对自适应中值滤波（AMF）、非局部均值滤波（NLM）、双边滤波（BF）、基于离散小波变换（DWT）等4种降噪算法进行评价,其结果如图7~9所示。
由图7可以看出,对于PSNR指标,BF算法的PSNR值最低,噪声抑制效果最差。AMF算法在气孔缺陷图像中表现较好,夹杂图像中较差。NLM与DWT算法在三种缺陷图像中都有不错的表现,相差不大。
由图8可以看出,对于SSIM指标（无量纲）,AMF算法取得了最好的效果,经其降噪后的图像在结构和细节方面与原始图像有最高的相似性,DWT算法次之（与AMF相差不大）,双边滤波（BF）效果最差。
由图9可以看出,对于信息熵,在前两项指标中表现均不佳的双边滤波（BF）反而取得了更好的效果,处理后的图像细节和结构更加丰富。同时小波降噪的得分略微低于双边滤波的,但相差不大。其余两种方法相对来说效果一般。
归纳而言,每种降噪算法都有各自的优势,自适应中值滤波（AMF）在噪声去除方面表现较好,双边滤波（BF）保留细节信息的能力很强,非局部均值滤波（NLM）没有在任何一项指标中有较低的情况,小波变换（DWT）所有指标的得分都处于第一或第二的位置,综合表现最佳。
3.3 基于神经网络的缺陷分类结果与分析
根据3.2节的客观评价结果,选用直方图均衡化（HE）与限制对比度自适应直方图均衡化（CLAHE）两种对比度增强方法与其余4种降噪方法分别组合为不同的图像增强方法,使用ResNet50网络对经过不同增强处理得到的焊缝缺陷X射线底片进行训练及分类识别,并利用准确率、精确率、召回率、F1值等4个指标对分类效果进行评价,其结果如表1所示。
Table 1. 采用不同图像增强方法的焊缝缺陷X射线检测图像分类结果比较图像增强方法 准确率 精确率 召回率 F1值 原图 94.40 92.61 91.26 91.70 CLAHE 96.00 94.29 92.06 93.10 CLAHE+AMF 96.00 96.70 93.25 94.87 CLAHE+BF 95.20 96.3 91.66 93.82 CLAHE+NLM 97.60 98.84 95.24 96.93 CLAHE+DWT 96.00 98.11 92.06 94.79 HE 92.80 94.04 86.90 89.88 HE+AMF 93.60 95.65 87.30 90.81 HE+BF 91.20 91.26 86.10 88.11 HE+NLM 94.40 94.50 88.89 91.42 HE+DWT 95.20 96.35 90.48 93.13 由表1可知,含有限制对比度自适应直方图均衡化（CLAHE）的图像增强方法可以显著提高焊缝缺陷的分类识别效果,识别准确率均高于未使用图像增强的情况。而在含有直方图均衡化（HE）的图像增强方法中,只有直方图均衡化（HE）与小波降噪（DWT）组合的增强方法提高了识别准确率,其余方法相较于不使用图像增强方法的情况,识别准确率下降或者不变。结合上文对对比度增强算法的分析可知,图像增强方法对最终分类结果的影响取决于对比度增强算法与降噪算法的综合作用,直方图均衡化虽然极大地提高了焊缝缺陷图像的对比度,但是引入的过多噪声反而不利于神经网络对特征的学习。
使用CLAHE与NLM相结合的图像增强方法,可以得到最佳的焊缝缺陷分类识别效果,准确率,精确率,召回率,F1值分别为97.6%,98.84%,95.24%,96.93%,相比没有使用图像增强的数据,各项指标分别提升了3.2%,6.23%,3.98%,5.23%,在提高图像对比度的同时也很好地控制了图像噪声,显著提升了神经网络学习X射线底片中焊缝缺陷特征的能力。
4. 结语
（1） 综合考虑增强方法的图像重建能力、图像清晰度和信息熵,直方图均衡化与限制对比度自适应直方图均衡化对焊缝缺陷X射线检测图像有最好的增强效果。
（2） 在直方图均衡化的基础上,自适应中值滤波有最好的去噪能力,双边滤波有较好的细节信息保留能力,非局部均值滤波在不同类型的缺陷图像上表现稳定,小波降噪的综合表现最好。
（3） 提出了一种结合限制对比度的直方图均衡化和非局部均值滤波的图像增强方法,采用该方法结合ResNet50模型对焊缝缺陷进行分类,准确率,精确率,召回率,F1值分别提高了3.2%,6.23%,3.98%,5.23%。有效解决了焊缝X射线检测图像存在的对比度低、像素分布不均匀、噪声差等问题。
-
Table 1 采用不同图像增强方法的焊缝缺陷X射线检测图像分类结果比较
图像增强方法 准确率 精确率 召回率 F1值 原图 94.40 92.61 91.26 91.70 CLAHE 96.00 94.29 92.06 93.10 CLAHE+AMF 96.00 96.70 93.25 94.87 CLAHE+BF 95.20 96.3 91.66 93.82 CLAHE+NLM 97.60 98.84 95.24 96.93 CLAHE+DWT 96.00 98.11 92.06 94.79 HE 92.80 94.04 86.90 89.88 HE+AMF 93.60 95.65 87.30 90.81 HE+BF 91.20 91.26 86.10 88.11 HE+NLM 94.40 94.50 88.89 91.42 HE+DWT 95.20 96.35 90.48 93.13 
下载: 导出CSV
-
[1] VILAR R ,ZAPATA J ,RUIZ R ．An automatic system of classification of weld defects in radiographic images[J]．NDT & E International,2009,42(5):467-476. [2] ZHANG Z F ,WEN G R ,CHEN S B ．Weld image deep learning-based on-line defects detection using convolutional neural networks for Al alloy in robotic arc welding[J]．Journal of Manufacturing Processes,2019,45:208-216. [3] KHUMAIDI A, YUNIARNO E M, PURNOMO M HWelding defect classification based on convolution neural network （CNN） and Gaussian kernel2017 International Seminar on Intelligent Technology and Its Applications （ISITIA）Surabaya,IndonesiaIEEE2017KHUMAIDI A ,YUNIARNO E M ,PURNOMO M H ．Welding defect classification based on convolution neural network （CNN） and Gaussian kernel[C]//2017 International Seminar on Intelligent Technology and Its Applications （ISITIA）．Surabaya,Indonesia：IEEE,2017． [4] 李超,孙俊 ．基于机器视觉方法的焊缝缺陷检测及分类算法[J]．计算机工程与应用,2018,54(6):264-270. [5] BOSSE S ,MANIRY D ,MULLER K R ,et al ．Deep neural networks for No-reference and full-reference image quality assessment[J]．IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society,2018,27(1):206-219. [6] HOU W H ,WEI Y ,GUO J ,et al ．Automatic detection of welding defects using deep neural network[J]．Journal of Physics：Conference Series,2018,933:012006. [7] RAHMAN T ,KHANDAKAR A ,QIBLAWEY Y ,et al ．Exploring the effect of image enhancement techniques on COVID-19 detection using chest X-ray images[J]．Computers in Biology and Medicine,2021,132:104319. [8] 张文璐工业X射线图像增强算法的研究太原中北大学2022张文璐. 工业X射线图像增强算法的研究[D]. 太原：中北大学,2022. [9] DIWAKAR M ,KUMAR M ．A review on CT image noise and its denoising[J]．Biomedical Signal Processing and Control,2018,42:73-88. [10] HOU W H ,WEI Y ,JIN Y ,et al ．Deep features based on a DCNN model for classifying imbalanced weld flaw types[J]．Measurement,2019,131:482-489. [11] 周冲基于梯度场的工业X射线图像增强及算法加速研究太原中北大学2020周冲 ．基于梯度场的工业X射线图像增强及算法加速研究[D]．太原：中北大学,2020． [12] ZHANG L ,ZHANG Y J ,DAI B C ,et al ．Welding defect detection based on local image enhancement[J]．IET Image Processing,2019,13(13):2647-2658. [13] 辛晨基于图像处理的工业X射线探伤关键技术研究西安西安电子科技大学2014辛晨 ．基于图像处理的工业X射线探伤关键技术研究[D]．西安：西安电子科技大学,2014． [14] 朱凯,李理,张彤,等 ．视觉Transformer在低级视觉领域的研究综述[J]．计算机工程与应用,2024,60(4):39-56. [15] 赵云龙,葛广英 ．智能图像处理：Python和OpenCV实现[M]．北京：机械工业出版社,2022. [16] HWANG H ,HADDAD R A ．Adaptive Median filters：new algorithms and results[J]．IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society,1995,4(4):499-502. [17] BUADES A,COLL B,MOREL J MA non-local algorithm for image denoising2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）San Diego,CA,USAIEEE2005BUADES A ,COLL B ,MOREL J M ．A non-local algorithm for image denoising[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）．San Diego,CA,USA：IEEE,2005． [18] TOMASI C,MANDUCHI RBilateral filtering for gray and color imagesSixth International Conference on Computer VisionBombay,IndiaIEEE1998TOMASI C ,MANDUCHI R ．Bilateral filtering for gray and color images[C]//Sixth International Conference on Computer Vision．Bombay,India：IEEE,1998． [19] WANG Z ,BOVIK A C ,SHEIKH H R ,et al ．Image quality assessment：from error visibility to structural similarity[J]．IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society,2004,13(4):600-612. [20] 谢小甫,周进,吴钦章. 一种针对图像模糊的无参考质量评价指标[J]. 计算机应用,2010,30(4):921-924.
计量
- 文章访问数: 210
- HTML全文浏览量: 19
- PDF下载量: 100
