基于Canny算子边缘分割的海洋平台焊接构件焊缝检测方法

顾天宝

doi:10.11973/wsjc240082

基于Canny算子边缘分割的海洋平台焊接构件焊缝检测方法

顾天宝^,

海洋石油工程股份有限公司,天津　300452

详细信息

作者简介:
顾天宝（1983—）,男,本科,工程师,主要研究方向为海洋平台陆地建造,海底管线结构和海底管道工艺技术与工程项目管理

通讯作者:
顾天宝,ajmbwvu@163.com

中图分类号: TP21;TG115.28
计量
- 文章访问数: 33
- HTML全文浏览量: 7
- PDF下载量: 16
出版历程
- 收稿日期: 2024-02-29

Welding seam detection method for ocean platform welding components based on Canny operator edge segmentation

GU Tianbao^,

Offshore Oil Engineering Co,Ltd, Tianjin 300452, China

摘要

摘要:
当前海洋平台焊接构件焊缝的检测过程中,依托于Sobel（索贝尔）算子完成图像边缘分割,对噪声信息比较敏感,使得检测结果ACC值（准确率）较低。因此,提出基于Canny算子边缘分割的海洋平台焊接构件焊缝检测方法。运用数学形态学中的膨胀和腐蚀思想,对海洋平台焊接构件焊缝图像进行滤波处理。首先将预处理后的图像输入视觉注意模型,提取图像包含的综合显著性特征,从而标注出图像视觉显著区域；然后基于Canny算子边缘分割算法,检测出图像中的全部边缘像素,并通过膨胀和细化操作实现边缘连接,从图像中分割出整个目标区域；最后选定一个种子区域,按照生长判定准则获取区域生长结果,从而得出焊缝检测结果。试验结果表明,新设计方法的焊缝检测结果ACC值稳定在0.95以上,能够满足海洋平台焊接构件的安全检测要求。
- Canny算子 /
- 边缘分割 /
- 图像处理 /
- 海洋平台 /
- 区域生长 /
- 焊缝检测
Abstract:
In the current welding seam detection process of offshore platforms, image edge segmentation is achieved by relying on the Sobel operator, which is sensitive to noise information, resulting in lower ACC values (accuracy) of the welding seam detection results. Therefore, a welding seam detection method for offshore platform welded components based on Canny operator edge segmentation was proposed. Using the concepts of expansion and corrosion in mathematical morphology, the welding seam images of offshore platform welding components were filtered. The preprocessed images were input into the visual attention model, the comprehensive saliency features contained in the image were extracted, and the visual salient regions of the image were annotated. Based on the Canny operator edge segmentation algorithm, all edge pixels in the image were detected, and edge connections were achieved through dilation and refinement operations to segment the entire target area from the image. A seed region was selected and the region growth results were obtained according to the growth judgment criteria, in order to obtain the weld seam detection results. The experimental results showed that the ACC value of the new design method for weld seam detection was set above 0.95, which well met the safety inspection requirements of welded components on offshore platforms.
- Canny operator /
- edge segmentation /
- image processing /
- ocean platform /
- regional growth /
- weld inspection

HTML全文

海洋平台是海上油气资源开发的重要设施,需要在恶劣的环境中长时间运行^[1]。在海洋工程领域,平台焊接构件的质量对于整个海洋平台的稳定性,安全性和使用寿命至关重要^[2]。同时,由于海洋平台建设过程中的焊接工作量较大,故对海洋平台焊接构件焊缝进行检测和评估就显得尤为重要。

杜玉红等^[3]提出通过工业相机拍摄大量焊缝图像,并应用正弦灰度变换算法实现图像增强处理,得到焊缝检测所需的图像样本。该方法以改进YOLOv5网络为基础,构建焊缝检测模型,将焊缝图像样本输入其中自动完成特征提取和焊缝检测,但其检测结果存在较大误差。胡丹等^[4]利用激光视觉传感器获取焊缝图像,通过灰度化处理和去噪处理凸显图像边缘特征,并获取基本的焊缝轮廓；从焊缝轮廓图像对应的方向梯度直方图入手,得到大量特征信息并将其输入至支持向量机智能模型中,自动完成焊缝检测。但是,该目标检测方法的计算复杂度过高。王杰等^[5]提出在焊缝检测过程中引入YOLOv3网络,并采用深度可分离卷积取代普通卷积网络结构,形成改进YOLOv3焊缝检测模型,将现场采集的焊接构件图像输入其中,即可自动生成焊缝检测结果,但该方法的平均检测时间较长。

Canny算子是一种经典的边缘分割算法,笔者提出一种基于Canny算子边缘分割的海洋平台焊接构件焊缝检测方法。该方法先对图像进行去噪、增强等预处理操作,再通过Canny算子对预处理后的图像进行边缘提取,并通过对边缘信息的处理和分析,实现对海洋平台焊接构件焊缝的检测。

1. 基于Canny算子边缘分割的方法设计

1.1 设计数学形态学滤波算法

海洋平台的工作环境复杂,实时采集的焊接构件焊缝图像往往包含大量噪声,会干扰焊缝检测结果。因此,笔者引入数学形态学滤波算法,通过膨胀、腐蚀等操作实现对焊缝图像的预处理,消除无用信息,并合理填补焊缝缺陷轮廓线的裂痕^[6]。

实际运算过程中,先确定待处理图像中某个像素的具体坐标和结构元素集合,定义图像膨胀、腐蚀处理过程为

(χ \oplus η) (x, y) = \max [χ (x + i, y + j) + η (i, j)]

(1)

(χ \otimes η) (x, y) = \min [χ (x + i, y + j) - η (i, j)]

(2)

式中：χ为输入的海洋平台焊接构件焊缝图像；η为结构元素集合；(x,y)为任意选中的像素点坐标；(i,j)为结构元素坐标；⊕为膨胀运算符号；⊗为腐蚀运算符号。

在此基础上,将灰度开运算,闭运算公式定义为

{\begin{cases} χ \circ η = (χ \otimes η) \oplus η \\ χ • η = (χ \oplus η) \otimes η \end{cases}

(3)

式中：°为开运算算子；·为闭运算算子。

结合开运算和闭运算表达式,可以建立式（4）所示的数学形态学滤波函数,即

{χ^{'}}_{o} = {[(χ \circ η_{o}) • η_{o}] \circ η_{o}} • η_{o}

(4)

式中：η_o为固定半径的结构元素集合；o为结构元素集合的半径； ${χ^{'}}_{o}$ 为滤波后焊缝图像。

利用上述表达式对海洋平台焊接构件焊缝图像进行多尺度滤波,凸显图像边缘信息。

1.2 提取焊接构件图像显著区域

针对预处理后的海洋平台焊接构件图像进行焊缝检测时,需要先应用视觉注意模型^[7],分析图像不同区域的视觉显著程度,提取出图像显著区域,作为焊缝检测的初始环节。考虑到视觉注意机制会对图像中心区域给出更多的关注,而对图像边缘的关注则较小,利用这一特点计算不同尺度图像的对比度差异,获取亮度特征图,即

I (c, g) = | I (c) * I (g) |

(5)

式中：I为亮度特征图；c为中央视觉区域对应的尺度；g为周边视觉区域对应的尺度；*为中央周边差运算符号。

明确海洋平台焊接构件焊缝图像的不同颜色分量,并将其代入式（5）所示的计算原理中,得到颜色亮度特征图,即

{\begin{cases} R G (c, g) = | R (c) - G (g) * [G (c) - R (g)] | \\ B Y (c, g) = | B (c) - Y (g) * [Y (c) - B (g)] | \end{cases}

(6)

式中：R、G、B、Y为四个广义颜色分量。

选取多个角度方向作为Gabor滤波器的滤波方向^[8],对焊缝亮度图像进行多次处理,得到焊缝图像对应的方向特征图,即

u (c, g, θ) = | u (c, θ) * u (g, θ) |

(7)

式中：u为方向特征图；θ为滤波方向角度。

将亮度特征图和方向特征图融合起来,形成海洋平台焊接构件焊缝图像对应的总显著图,通过其描述原始图像中的所有特征信息,找到图像中视觉显著区域并标注出来,作为后续焊缝检测的重点区域。

1.3 建立Canny算子图像边缘分割方案

以Canny算子为基础,建立焊缝边缘分割算法,应用其对图像视觉显著区域进行分析,检测出图像边缘信息^[9],并去除图像背景区域。Canny算子图像边缘分割过程中,需要计算每个像素点的梯度方向,得到

ε (x, y) = \arctan [\frac{Q_{1} (x, y)}{Q_{2} (x, y)}]

(8)

式中：ε为梯度方向；Q₁、Q₂分别为像素点水平、垂直方向的梯度值；arctan为反正切函数。

像素点的梯度强度为

ϕ (x, y) = \sqrt{Q_{1}^{2} (x, y) + Q_{2}^{2} (x, y)}

(9)

式中：ϕ为梯度强度。

上述计算过程中涉及的两个梯度值,可以通过以下公式推算,即

{\begin{matrix} Q_{1} (x, y) = \\ \frac{ϖ (x, y + 1) - ϖ (x, y) + ϖ (x + 1, y + 1) - ϖ (x + 1, y)}{2} \\ Q_{2} (x, y) = \\ \frac{ϖ (x, y) - ϖ (x + 1, y) + ϖ (x, y + 1) - ϖ (x + 1, y + 1)}{2} \end{matrix}

(10)

式中： $ϖ$ （x,y）为像素点（x,y）的二值化函数。

由于相同方向上图像不同像素点的梯度强度存在很大差异,为了确保边缘检测结果是真实的,引入非极大值抑制方法,即在判断一个梯度元素属于边缘像素时,与同一方向上其他像素的梯度值进行对比,只有确定当前梯度元素的梯度值为最大值时,才能确定其为真实边缘。同时,为了避免出现伪边缘,应用双阈值检测原理,设置Canny算子边缘分割所需的两个临界值,分别代表了强边缘,弱边缘约束条件,超出双阈值规定范围的所有边缘检测算子都属于非边缘像素点^[10]。

依托于Canny算子检测出海洋平台焊接构件焊缝图像中全部边缘像素点后,为了更好地实现图像边缘分割,通过数学形态学中的膨胀和细化操作,实现边缘连接。具体的图像膨胀过程如图1所示。

图 1 具体的图像膨胀过程示意

下载: 全尺寸图片幻灯片

考虑到图像膨胀处理阶段,可能会扩展出更多边缘像素点,从而掩盖真实焊缝边缘信息。在图像边缘连接过程中,同时引入细化处理方法,按照图2所示顺序分析每一个扩展像素点,不断删除冗余像素信息,图中S1~S9为梯度元素1~9。

图 2 结构元素细化顺序示意

下载: 全尺寸图片幻灯片

通过上述操作,获取焊接图像的边缘分割结果,将原始图像中的背景信息去除,仅保留焊缝目标区域。

1.4 获取海洋平台焊接构件焊缝检测结果

为了得出更加准确的焊缝检测结果,以图像边缘分割结果为基础,选取种子点约束区域,按照生长准则实现区域自适应生长,图像区域生长原理如图3所示,根据区域生长结果最终检测出焊接构件的完整焊缝。

图 3 图像区域生长原理示意

下载: 全尺寸图片幻灯片

若已知种子区域,并大致确定生长区域数量,可以将区域生长判定准则写为

T = {[\frac{(λ - 1) λ}{λ + 1} × \frac{{(\bar{\partial} - \bar{τ})}^{2}}{σ^{2}}]}^{\frac{1}{2}}

(11)

式中：λ为生长区域数量；T为判定准则； $\bar{\partial} 、 \bar{τ}$ 为种子区域和待测区域的灰度均值；σ²为方差。

在区域生长判定准则的辅助下,海洋平台焊接构件焊缝目标区域不断生长,直到与目标形状模板大小相同则停止生长,当前给出的生长区域即为焊缝所在区域,基于此得到最终的焊缝检测结果。

2. 焊缝检测试验

2.1 试验数据

为了满足不断提高的海洋平台焊接构件焊缝检测要求,笔者基于Canny算子边缘分割算法,设计了一种新的焊缝检测方法。在测试该方法实践应用效果时,以某新建海洋平台作为研究对象,通过可用于水下工作的高速相机,以镝灯作为辅助光源,采集大量焊接构件图像作为试验数据。其中,高速相机和辅助光源设备的性能参数如表1所示。

Table 1. 高速相机和辅助光源性能参数

设备	参数项	参数值
高速相机	分辨率/像素	1 312×1 082
	像元尺寸/μm	8×8
	感光范围/nm	350~980
	像素深度/bit	12/10/8
	每秒帧数/帧	108
	外部尺寸（长×宽×高）/mm	60×60×45
镝灯辅助光源	波长/nm	530
	功率/W	1 200
	电压/V	220
	透镜直径/mm	175

下载: 导出CSV

| 显示表格

采用上述设备从现场采集500幅图像,其中绝大部分图像都是包含焊接构件焊缝的图像,而少部分图像中不包含焊缝,两类图像混合起来,可以更好地反映所提方法的焊缝检出性。

在试验图像采集完成后,对其进行垂直翻转,旋转和缩放处理,实现原始图像的扩增处理,如图4所示。

图 4 图像数据集的扩增处理过程

下载: 全尺寸图片幻灯片

按照图4所示的操作完成试验数据集扩增,使得原始500幅图像增长为2 000幅。分别采用笔者所提方法,参考文献[3],[4]方法对数据集中所有图像进行焊缝检测,统计不同方法的检测结果,以此来评估其实践应用性能。

2.2 图像边缘分割

对现场采集的图像进行滤波处理是焊缝检测的第一个环节,以任意一幅图像为例,其滤波前后结果对比如图5所示。

图 5 图像滤波增强处理前后结果对比

下载: 全尺寸图片幻灯片

对所有试验图像完成滤波增强后,先将所有图像转换为灰度图像,依托于Canny算子完成图像分割,并标注出焊缝中心线,最终得到图6所示的图像边缘分割及中心线标注结果。

图 6 图像边缘分割及中心线标注结果

下载: 全尺寸图片幻灯片

由图6可知,针对原始图像进行Canny算子边缘分割处理,可以在保留图像边缘信息的基础上,最大程度抑制图像噪声信息。

2.3 焊缝检测结果

以图像边缘分割结果为基础,运用区域生长方法完成焊缝检测,并根据检测结果标注出焊缝位置,以任意几幅图像为例,其焊缝检测结果如图7所示。

图 7 焊缝检测结果示例

下载: 全尺寸图片幻灯片

图7可知,采用所提方法可以准确检测出海洋平台焊接构件焊缝,具有可行性。应用不同方法对数据集内所有试验样本进行检测,并通过式（12）计算出焊缝检测结果的ACC值（准确率）,即

A = \frac{α + β}{N}

(12)

式中：A为ACC值；α为准确检测出的包含焊缝的样本图像数量；β为准确检测出的不包含焊缝的样本图像数量；N为试验图像总量。

采用不同方法处理焊缝检测结果的ACC值对比如图8所示,可见,基于Canny算子边缘分割的新型焊缝检测方法应用后,无论样本数量是多少,最终检测结果的ACC值都高于0.95。而参考文献[3],[4]方法检测结果的平均ACC值分别为0.84,0.8。综上所述,将所提方法应用到海洋平台焊接质量检测中,可以取得优越的检测效果。

图 8 不同方法处理焊缝检测结果的ACC值对比

下载: 全尺寸图片幻灯片

3. 结语

针对海洋平台焊接构件焊缝的检测问题,提出一种基于Canny算子边缘分割的检测方法并进行检测试验。试验与分析结果表明,该方法通过图像预处理,显著区域提取,边缘分割,区域生长等步骤,能实现对焊缝区域的准确检测,具有可行性和优越性,能够满足海洋平台焊接构件焊缝检测的实际需求。

图 1 具体的图像膨胀过程示意

下载: 全尺寸图片幻灯片

图 2 结构元素细化顺序示意

下载: 全尺寸图片幻灯片

图 3 图像区域生长原理示意

下载: 全尺寸图片幻灯片

图 4 图像数据集的扩增处理过程

下载: 全尺寸图片幻灯片

图 5 图像滤波增强处理前后结果对比

下载: 全尺寸图片幻灯片

图 6 图像边缘分割及中心线标注结果

下载: 全尺寸图片幻灯片

图 7 焊缝检测结果示例

下载: 全尺寸图片幻灯片

图 8 不同方法处理焊缝检测结果的ACC值对比

下载: 全尺寸图片幻灯片

Table 1 高速相机和辅助光源性能参数

设备	参数项	参数值
高速相机	分辨率/像素	1 312×1 082
	像元尺寸/μm	8×8
	感光范围/nm	350~980
	像素深度/bit	12/10/8
	每秒帧数/帧	108
	外部尺寸（长×宽×高）/mm	60×60×45
镝灯辅助光源	波长/nm	530
	功率/W	1 200
	电压/V	220
	透镜直径/mm	175

下载: 导出CSV

参考文献(10)

[1]	刘桂雄,廖普,杨宁祥.基于深度学习主动视觉压力容器焊缝质量参数检测方法[J].仪器仪表学报, 2023,44(5):1-9.
[2]	任文坚,王永红,李春凯,等.推力室钎焊身部焊缝缺陷的DR数字成像自动检测方法[J].焊接, 2023(7):34-39,53.
[3]	杜玉红,叶萧然,侯守明.基于改进YOLOv5的船体焊缝缺陷自动检测方法[J].舰船科学技术, 2023,45(19):185-188.
[4]	胡丹,吕波,王静静,等.焊缝表面缺陷激光视觉传感HOG-SVM的检测方法[J].焊接学报, 2023,44(1):57-62,70.
[5]	王杰,马行,穆春阳.基于深度可分离卷积的大型铸件焊缝检测方法[J].传感器与微系统, 2023,42(5):161-164,168.
[6]	高翔,李楷,衣正尧,等.基于改进YOLOv5模型的船舶焊缝缺陷检测方法[J].大连理工大学学报, 2023,63(4):385-392.
[7]	胡丹,张艳喜,王静静,等.焊缝成形线结构光视觉检测方法研究[J].制造技术与机床, 2022(3):132-137.
[8]	马骞,陈智发,云维锐.基于相控阵超声技术的重载铁路钢轨焊缝检测方法[J].铁道建筑, 2022,62(2):47-52.
[9]	康平,高雅,袁生平,等.显微CT检测技术在复杂结构焊缝无损检测中的应用[J].宇航材料工艺, 2021,51(2):73-76.
[10]	高亚峰,李志勇,杨康,等.基于自适应阈值和边缘生长的焊缝轮廓检测方法[J].热加工工艺, 2021,50(15):145-148.