Damage detection for prefabricated building concrete structures based on machine vision
-
摘要:
随着装配式建筑的普及,现有混凝土结构损伤检测方法容易受到噪声环境影响的问题亟待解决,设计了一套基于机器视觉的装配式建筑混凝土结构损伤检测方法。该机器视觉采集装置由机器视觉工具(由图像采集卡、CCD摄像头构成)和爬壁机器人构成,将机器视觉工具搭载在爬壁机器人上完成图像采集。首先,使用加权平均法对采集的图像实施灰度化处理,使用阈值滤波法实施灰度图像的滤波处理;其次采用由快速区域卷积神经网络Fast R-CNN与区域推荐网络RPN组成的Faster R-CNN模型实现混凝土结构损伤检测。试验结果表明,该方法在噪声环境下能够实现有污渍混凝土表面、阴影混凝土表面、粗糙混凝土表面的准确结构损伤检测,检测系统的鲁棒性较强。
Abstract:With the popularization of prefabricated buildings, the existing damage detection methods for concrete structures are easily affected by noise environment, which is an urgent problem to be solved. Therefore, a machine vision-based damage detection method for prefabricated concrete structures was designed. The machine vision acquisition device consisted of machine vision tools including image acquisition cards and CCD cameras and a wall climbing robot. The machine vision tools were mounted on the wall climbing robot to achieve image acquisition. Firstly, the collected images were grayscale processed using the weighted average method, and the grayscale images were filtered using the threshold filtering method; Secondly, the Faster R-CNN model consisting of Fast Regional Convolutional Neural Network and Regional Recommendation Network (RPN) was used to achieve damage detection in concrete structures. The experimental results showed that this method can achieve accurate structural damage detection of stained concrete surfaces, shaded concrete surfaces, and rough concrete surfaces in noisy environments, and the detection results were robust.
-
传统的建筑方式由于其高能耗、高污染和高成本的特点,已无法满足社会和经济的发展需求,因此装配式建筑应运而生。装配式指将建筑物的某些部分在工厂预制,然后在施工现场进行组装[1]。这种方式能够显著提高建筑效率,降低能耗和减少环境污染。然而,随着装配式建筑的广泛应用,混凝土结构的损伤问题逐渐凸显出来。因此,装配式建筑混凝土结构的损伤检测成为了一个重要的研究课题。
目前,国外关于建筑混凝土结构损伤检测的研究已经取得了很大进展。MOUSAVI等[2]提出了一种基于自适应噪声经验模态分解的结构损伤检测方法,采用经验模态分解和自适应噪声技术,从固有模态函数中提取能量、瞬时振幅、解包裹相位和瞬时频率等4个关键特征,对损伤进行定位、量化和检测。LI等[3]提出了一种结构损伤检测的混合学习策略,该方法结合使用监督(人工神经网络)和无监督(k-means聚类)学习分类方法来构建混合分类器,目标不仅是检测已知的结构状态,而且还检测尚未确定的动态行为。国内近年来对于建筑混凝土结构损伤检测的研究,尽管起步较晚,但也取得了巨大进步。袁茂林等[4]提出了一种应用超声波脉冲的损伤检测方法,主要采用超声脉冲技术来获取混凝土结构的声学数据,通过计算这些参数的衰减量来量化混凝土的损伤程度。张邦[5]提出了一种基于超声阵列的结构损伤检测方法,主要采用阵列式超声装备来采集半矩阵数据,采用全聚焦算法聚焦超声波在层状介质中的传播,并计算出最短到达时间,在代入全聚焦成像公式后,可以精确地重建轨道内部的结构和损伤情况。然而对于以上两种方法来说,噪声环境可能会影响超声波的传播和接收,从而影响检测结果的准确性。
因此,笔者设计一种基于机器视觉的装配式建筑混凝土结构损伤检测方法并进行检测试验,结果表明,该方法在噪声环境下能够实现有污渍混凝土表面、阴影混凝土表面、粗糙混凝土表面的准确结构损伤检测,检测系统的鲁棒性较强。
1. 混凝土结构损伤检测方法设计
1.1 基于机器视觉的混凝土图像采集
设计一种机器视觉采集装置实施装配式建筑混凝土图像采集,该采集装置由机器视觉工具、爬壁机器人构成。其中机器视觉工具由图像采集卡、CCD(电荷耦合器件)摄像头构成。
首先设计一种面阵CCD摄像机(选用型号为XLC-1000的面阵CCD芯片),其像素数为1 024×1 024(长×宽),量子效率高达95%[6]。前端电路用于驱动CCD芯片并放大其输出的电信号。选用低噪声、高速运算放大器,配合CCD驱动电路,确保电信号的稳定和高速传输。其中CCD驱动电路设计图如图1所示。图1中复位信号用于将CCD中的电荷清空,为新的光信号做准备。笔者选用高速、低功耗的XRT1054型复位芯片以提供稳定的复位信号。转移信号用于将CCD中的电荷按行传输出去,该信号是一个相位连续的时钟信号,选用具有低抖动、低噪声特性的NJ5120型时钟芯片,为CCD提供准确的时钟信号[7]。采样保持电路用于在电荷传输过程中保持电荷的稳定,其由一个运算放大器和相关元件组成,其中运算放大器选用低噪声、低失真、高速的AD8055型运算放大器,相关元件选择电容器。电源电路用于提供稳定的电源,确保CCD的正常工作;此处选用具有低噪声、高效率特性的LT1963型电源芯片。通过数字信号处理器处理数字图像数据,实施图像增强操作,选用高速的动态随机存取存储器(DRAM)和Flash存储器,确保大容量和快速的图像数据存储[8]。镜头选用焦距为4 mm的定焦工业镜头,其焦距值较小,水平视场角较大。
接着设计一种图像采集卡,配合面阵CCD摄像机实现装配式建筑的混凝土图像采集。该图像采集卡结构框图如图2所示。其中图像传感器接口选用具有较高数据传输速率的Cameralink接口,以满足高分辨率图像的实时传输需求。选用64 GB以上的高速DDR(双倍数据速率)内存作为图像数据缓冲区,以快速存储和读取图像数据。选用AMD EPYC型多核处理器作为图像数据处理单元,该处理器具有强大的计算能力。应用现场可编程门阵列(FPGA)实现大规模图像数据的压缩/解压缩运算。数据传输接口选用通用串行总线3.0(USB 3.0)接口,该接口具有较高的数据传输速率,能够满足采集卡与计算机之间高速数据传输的需求[9]。在控制与配置单元中,通过STM32F103C8T6 LQFP-48型微控制器实现灵活的控制逻辑和配置功能,满足采集卡的个性化需求。在电源模块中,选用服务器级电源为采集卡提供可靠的电力供应。在散热系统中,选用的散热方案为热管散热,确保采集卡在长时间运行中保持稳定。选用轮式爬壁机器人,将机器视觉工具搭载在爬壁机器人上完成图像采集。
1.2 采集图像滤波处理
对采集的装配式建筑混凝土图像实施滤波处理,为节省存储空间,首先对采集的图像实施灰度化处理。根据每个通道的重要性为其选择适当的权重,并实施加权平均处理[10],即
(1) 式中:GRAY(α,β)为灰度图像中(α,β)点的灰度值;R(α,β)为采集的装配式建筑混凝土图像中(α,β)点的红色分量值;B(α,β)为蓝色分量值;G(α,β)为绿色分量值[11]。
接着,使用阈值滤波法实施灰度图像的滤波处理,具体处理步骤如下。
(1)去掉中心像素点后计算邻域的均值,即
(2) 式中:l(α,β)为滤波前灰度图像(α,β)点的灰度值[12]。
(2)设置两个阈值Q1与Q2,且Q1<Q2,当
(3) 则h(α,β)=l(α,β),其中h(α,β)为滤波后灰度图像(α,β)点的灰度值。
当
(4) 则h(α,β)=Fi。
当
(5) 则h(α,β)=l(α,β),即滤波后的图像在该点保持原图像的灰度值。
就此完成采集图像的滤波处理,在处理中既保留了混凝土图像的细节信息,也去除了较大的噪声。
1.3 基于Faster R-CNN的混凝土结构损伤检测
设计一种快速区域卷积神经网络(Faster R-CNN)模型,实现混凝土结构损伤检测。设计的Faster R-CNN模型由两部分组成:快速区域卷积神经网络Fast R-CNN与区域推荐网络(RPN)。其中RPN的任务是生成可能的推荐区域,Fast R-CNN则负责在这些区域中检测目标[13]。在训练过程中,RPN网络生成大量的锚点,并判断它们属于被检测目标还是背景,然后对位置实施微调(仅部分合适的锚点参与微调)。
接着,通过感兴趣区域(RoI)池化操作,从CNN给出的特征图和RPN的推荐区域信息中截取部分区域。然后,对截取的推荐区域图像实施尺寸统一处理。最后,利用这些图像计算整个推荐区域的类别,并通过目标检测框回归来获得检测目标的最终精确位置。
在Faster R-CNN模型中,通过视觉几何组(VGG-16)这一CNN(卷积神经网络)来提取裂缝特征。
在RPN中,对于VGG-16模型提取的特征图,每个点都会配置9个矩形锚。这些矩形锚被用作预备的推荐区域,其形状由右下角和左上角的坐标确定。这9个矩形锚具有3种不同的高宽比,高宽比设置如表1所示[14]。
Table 1. 矩形锚高宽比设置序号 高宽比 序号 高宽比 1 1∶1 3 2∶1 2 1∶2 — — 每种高宽比又对应3个不同的基础像素尺度,因此总共有3×3=9个不同的锚点。通过这种配置,能够在不同尺寸和比例的区域中检测目标,提高了目标检测的准确性和可靠性。
在卷积层18后,RPN分为两个主要分支:SmoothL1回归与Softmax分类。在Softmax分类分支中,卷积层18的输出会被传递给另一个卷积层,数据通道数为18个,这18个通道对应于背景与前景分类的锚点,每类都有9个锚点。为了实施网络损失计算,这18个通道的数据被重新组合为2个通道,分别表示需要检测的目标与背景和网络的分类数。接着,使用Softmax层计算检测框中目标存在的概率。在SmoothL1回归分支中,数据经过卷积操作后转换为36个通道,每个通道对应于4×9个锚点的位置信息[15]。然后,利用Smooth L1层预测目标检测框的中心坐标、宽度和高度。这种分支不仅提高了网络的非线性表达能力,还使其在处理不同任务时更加稳定可靠。
在训练RPN时,需要尽量减少Ground truth中目标边界框与预测边界框间的差异,提高重叠度。因此将其损失函数设置为
(6) 式中:ui为在锚中检测目标的对应预测概率;
为输入混凝土图像的Ground truth;ri为锚与预测目标检测框的几何差异; 为锚中的推荐检测框与Ground truth中目标边界框间的几何差异;Mcls为分类的归一化常数; 为Softmax分类的损失;Mreg为回归的归一化常数; 为平衡参数; 为SmoothL1回归的损失;i为各mini-batch的索引值。 Fast R-CNN分为两个主要分支:回归分支与分类分支。在分类分支中,全连接层之后是Softmax层,用于对预测边界框中的目标实施分类。而在回归分支中,使用Softmax层和另一个全连接层来计算预测边界框的位置,Fast R-CNN的损失函数由回归损失与分类损失构成。
2. 混凝土结构损伤检测试验
2.1 试验过程
利用设计的基于机器视觉的混凝土结构损伤检测方法实施某装配式建筑混凝土结构损伤检测,测试设计方法的检测性能。混凝土结构损伤检测试验现场如图3所示。
在噪声环境下,首先利用设计的机器视觉采集装置实施装配式建筑的混凝土图像采集并将其作为数据集。选择一栋两层高的装配式建筑作为试验对象,该建筑采用预制混凝土构件实施装配,整体结构采用框架结构体系。整个建筑的装配化程度较高,且对环境的影响较小。
接着对采集的建筑混凝土图像实施滤波处理,处理结果如图4所示。
最后利用设计的Faster R-CNN模型实施建筑的混凝土结构损伤检测。在检测中,随机选取20%作为测试图像,另外80%作为训练图像。
训练时,Fast R-CNN与RPN的参数设置情况如下:① 权重衰减为0.0001;② 动量为0.8;③ 初始学习率为0.1;④ 训练迭代次数为50 000次。
当完成40 000次迭代后,学习率衰减为初始学习率的1/10。
随后测试噪声环境下笔者设计方法对于有污渍表面、阴影表面、粗糙表面的混凝土结构损伤的检测性能。在试验中,采用超声脉冲损伤检测方法与基于超声阵列的结构损伤检测方法共同实施测试,并分别用方法A、方法B来表示,以简化后续表述。
2.2 测试结果分析
对于有污渍的混凝土表面,笔者设计方法与方法A、方法B在噪声环境下的检测结果如图5所示。由图5可见,在噪声环境下,对于有污渍的混凝土表面,笔者设计方法的检测结果准确,而方法A、方法B的检测结果存在误差,证明了设计方法的鲁棒性与检测性能的优越性。
在噪声环境下,对于阴影混凝土表面,笔者设计方法与方法A、方法B的检测结果如图6所示。由图6可见,在噪声环境下,对于阴影混凝土表面,设计方法仍然能够实现准确地检测,方法A的检测结果不够全面,而方法B的检测结果则出现错误。
在噪声环境下,对于粗糙混凝土表面,笔者设计方法与方法A、方法B的检测结果如图7所示。由图7可见,对于粗糙混凝土表面,在噪声环境下,笔者设计方法准确实现了两个裂缝的检测,而方法A、方法B均只检测出了较粗的裂缝。
3. 结语
设计了一种基于机器视觉的装配式建筑混凝土结构损伤检测方法。通过深度学习和计算机视觉技术的结合,该方法能够准确地在噪声环境下检测混凝土结构的损伤,且具有较强的鲁棒性,为噪声环境下混凝土结构的健康监测和评估提供了有力支持。
-
Table 1 矩形锚高宽比设置
序号 高宽比 序号 高宽比 1 1∶1 3 2∶1 2 1∶2 — — -
[1] 魏斌乾.高层装配式建筑外围护结构蒸压加气混凝土板承载力计算和施工质量控制[J].建筑技术,2023,54(8):922-926. [2] MOUSAVI A A,ZHANG C W,MASRI S F,et al.Structural damage detection method based on the complete ensemble empirical mode decomposition with adaptive noise:a model steel truss bridge case study[J]. Structural Health Monitoring,2022,21(3):887-912. [3] ANDRADE NUNES L,PIAZZAROLI FINOTTI AMARAL R,DE SOUZA BARBOSA F,et al.A hybrid learning strategy for structural damage detection[J]. Structural Health Monitoring,2021,20(4):2143-2160. [4] 袁茂林.冻融循环条件下路面粉煤灰混凝土损伤检测研究[J].粉煤灰综合利用,2023,37(4):74-79. [5] 张邦.超声阵列方法在层状结构损伤检测中的应用[J].应用声学,2023,42(5):963-970. [6] 黄华.装配式混凝土结构在医院建筑中的应用实践[J].建筑结构,2022,52(1):1649-1652. [7] 张孝斌,殷尧日,冯力强,等.装配式钢管混凝土柱-钢梁节点的性能分析及比选[J].建筑结构,2021,51(5):75-79. [8] 侯林兵,种迅,霍璞,等.含减震外挂墙板装配式混凝土框架结构混合试验研究[J].振动与冲击,2023,42(18):276-285. [9] 韩万水,王睿,张景峰,等.落物竖向冲击下PC装配式简支箱梁桥动力响应及损伤分析[J].建筑科学与工程学报,2021,38(2):26-37. [10] 杨小卫,李梦园,荣维生,等.装配式钢筋混凝土框架薄壳结构抗震性能研究[J].建筑结构,2023,53(S1):659-663. [11] 刘航,李牧,杨学中,等.自复位装配式混凝土框架结构抗震性能试验研究[J].工业建筑,2022,52(1):65-73. [12] 吴水根,张海鹏,潘钻峰,等.螺栓连接预制装配式混凝土剪力墙承载力计算方法[J].结构工程师,2023,39(1):8-14. [13] 邵莹,胡双平,高志宏,等.装配式混凝土地下车站结构应用与研究进展[J].铁道工程学报,2023,40(4):89-93,104. [14] 周中一,靳宇航,庞新龙,等.轻型装配钢管混凝土框架-耗能减震地聚物墙抗震性能[J].结构工程师,2021,37(4):91-99. [15] 孙岩波,李晨光,阎明伟,等.装配式混凝土结构桁架式悬挑外防护架技术研究与应用[J].建筑技术,2022,53(1):70-72.