Machine learning-based real-time visible fatigue crack growth detectio

作者：Le Zhang, Zhichen Wang , Lei Wang , Zhe Zhang , Xu Chen, Lin Meng

摘要：航空航天和汽车工业中应用了许多大型和复杂的结构部件。然而，在使用过程中，反复的交变或循环载荷往往会导致意外的疲劳断裂。因此，开发实时可见的疲劳裂纹萌生和扩展监测方法对结构安全至关重要。本文提出了一种结合计算机视觉和机器学习的基于机器学习的疲劳裂纹扩展检测方法。在我们的模型中，计算机视觉用于数据创建，机器学习模型用于裂纹检测。然后使用计算机视觉对裂纹的扩展路径和长度进行标记和分析。我们应用了7种模型进行裂缝分类，发现决策树是本研究中模型。实验结果证明了该方法的有效性，实现的裂缝长度测量精度为0.6 mm。此外，轻微的机器学习模型帮助我们实现了实时可见的疲劳裂纹检测。

关键词：疲劳裂纹、扩展预测、机械响应、发光材料结构健康监测、计算机视觉、机器学习

1.简介

航空、汽车工业中应用了许多大型、复杂的结构部件，如发动机、涡轮等。其中一些在使用中受到反复交变或循环载荷的作用，容易产生意外的疲劳断裂。因此，开发实时可见的疲劳裂纹萌生和扩展监测方法对结构安全至关重要。在过去的几十年里，工业上广泛发展了用于疲劳损伤评估的结构健康监测(SHM)方法。压电传感器、红外热成像、声发射、兰姆波和数字图像相关(DIC)等技术在飞机结构安全监测中得到了广泛应用。然而，有限的传感器尺寸、高成本和复杂的测量系统以及复杂的加工程序限制了它们在大型复杂结构部件上的应用。目前迫切需要一种现场、实时、可见的SHM疲劳损伤评价方法。

基于荧光的检测技术具有可视化和快速响应的优点。因此，在生物、化学、光电子等领域得到了广泛的应用?；?发光(machine -noluminescence, ML)材料在机械响应的测量中被考虑，其中，当ML材料受到机械力的作用时，荧光波长或强度可以发生变化。因此，ML现象对于实现对应力分布和疲劳裂纹行为等机械响应的实时、直接可见的监测有很大的好处。许多无机物基ML材料，如SrAl2O4:Eu2t、Dy3t、Nd3t(SAO)和CdSe@ZnS颗粒，被混合在陶瓷中或涂覆在金属表面，从而可以实现对疲劳裂纹扩展的实时可见监测。1,1,2,2-四基(4-硝基苯基)乙烷(TPE-4N)是一种纯有机机械响应发光材料(MRL)。它在无定形状态下表现出强烈的绿色荧光，而在结晶状态下其发射则被强烈猝灭。与无机ML材料相比，纯有机MRL材料在金属表面具有良好的成膜性，为大型复杂结构件疲劳损伤评估的现场、实时、可见监测开辟了新的可能性。通常，疲劳损伤出现在材料表面。因此，金属表面的诱导荧光可以用来表征疲劳损伤。要使该技术真正应用，必须实现疲劳裂纹损伤的自动监测和保护报警。因此，在目前的工作中，应用计算机视觉和机器学习来实现对荧光分布的监测，荧光分布代表疲劳的发生和传播。

在计算机视觉的研究领域，裂纹检测可能定义为一种目标检测方法，并取得了良好的性能。在某些情况下，机器学习模型通过使用计算机视觉提取的图像特征对物体进行分类。例如，甲骨文(Oracle Bone Inscription, OBI)是一种刻在骨头上的类似裂缝的文字，利用计算机视觉技术和机器学习模型对甲骨文进行分类就取得了很好的效果。此外，随着计算能力的不断提高，深度学习技术被广泛用于具有更高精度的目标检测。深度学习方法在OBI分类中也取得了很好的准确率。

因此，提出的工作研究计算机视觉和机器学习方法，通过有机MRL方法实时和可见地监测疲劳裂纹检测。将金属中的疲劳裂纹起裂和裂纹扩展路径转换为可见的荧光信号。在检测过程上，首先通过计算机视觉提取图像特征作为预处理，然后采用机器学习方法对裂纹和非裂纹进行分类。最后，在原始图像上标记裂纹部位，并测量其生长方向。根据荧光分布，可以实时确定疲劳裂纹长度和疲劳裂纹扩展路径。这些结果表明，本文提出的方法在实际应用中对大型复杂结构构件的裂纹检测具有很大的潜力。

第2节讨论了相关工作。我们在第3节中提出了提出的疲劳裂纹检测方法。第4节介绍了实验过程，结果见第5节。第6节讨论了这项工作的贡献以及局限性。我们在第7节中总结了一个简短的总结和未来工作的计划。

2.相关工作

疲劳裂纹检测是疲劳损伤评估中最重要的一步，因为裂纹检测的准确性深刻影响疲劳裂纹起裂和扩展路径的预测。在此，我们对不同研究领域的裂纹检测相关工作进行了综述。

2.1.金属力学响应的实时可见检测

近年来，纯有机MRL已经成功实现了金属内部应力分布和疲劳裂纹扩展的动态可视化。通过在金属表面涂覆有机MRL膜，可以将金属的超灵敏力学响应转化为可见的荧光信号。有机MRL法测得的应力分布与DIC法或有限元法模拟得到的结果吻合较好。然而，对有机MRL膜机械响应荧光图像的定量评估仍然不足，限制了其在实时机械损伤评估中的应用。

2.2.基于视觉的疲劳裂纹检测

裂纹检测可以定义为计算机视觉中的一种物体检测。Mohan等人对使用图像处理的裂纹检测进行了全面的调查，并发现了使用图像处理的方法。与传统的物体检测类似，疲劳裂纹检测包括降噪、特征提取和分类。通常，Reduction使用过滤器来减少噪声，二值化来增强对象(裂纹)。为了检测铬镀层中的裂纹网络图案区域，Vidal等人首先将拉普拉斯高斯(LoG)滤波器和Prewitt滤波器结合起来，然后直接对所选像素进行阈值化，构建二值图像。Heideklang等人提出了一种数据融合滤波器，用于改进近表面裂纹检测。孟等人旨在通过定向梯度直方图(Histogram of oriented Gradients, HoG)获取裂纹网络信息，并通过分析几个案例获得了更好的二值化阈值。Glud等人采用Gabor滤波器进行降噪，采用Otsu方法获得二值化图像。形态学处理包括(a)初始二值图像;(b)对角填充处理;(c)闭合处理;(d)细化处理;(e)清洗处理(骨架的最终图像);以及(f)分支点处理。由于特征是从二值图像中提取的，因此通常提取的裂缝为黑色，背景为白色。

2.3.基于机器学习的疲劳裂纹检测

支持向量机(SVM)、k -最近邻算法(KNN)、朴素贝叶斯、决策树、随机森林、集成模型和神经网络(NN)等机器学习模型已被广泛用于分类。作为机器学习的延伸，深度学习模型现在被用于裂纹检测。

基于计算机视觉的裂纹检测方法已经取得了良好的性能。但是，阈值的判定比较困难，通常需要人工修改，这就限制了制造业的发展。目前，在高精度目标检测的研究领域，提出了几种深度学习模型。LeNet是第一个成功分类数字手写数字的深度学习模型。提出了AlexNet和GoogleNet，并在更大数量的分类中取得了很好的精度，后来提出了Inception和Xception ResNet，以获得更好的精度。但是，这些模型都需要提前手工切割目标图像。后来，YOLO和SSD同时被提出用于目标检测和分类，也被用于一些特殊的研究领域，如古文字识别。

因此，研究人员尝试将深度学习应用于裂纹检测。Fan等人提出了一个14层的模型，其中有7个卷积层。每两个卷积层之间应用一个最大池化层，最后一个是连接层。Li等人提出了一个12层模型，其中两次三个卷积层t池化层后应用三个卷积层。接下来的步骤是三个连接的层，最后一层应用了一个softmax。此外，还提出了一些其他模型，通过使用深度学习模型进行裂纹检测。

然而，深度学习的局限性在于需要准备大量的数据进行训练。这也证明了为什么提出了大量深度学习模型来检测混凝土裂缝的原因。本文提出了一种基于计算机视觉和机器学习的疲劳裂纹检测方法，利用机器学习避免数据限制，并尝试将裂纹检测结果用于疲劳裂纹扩展评价。我们采用了7种机器学习模型来检验和选择裂纹检测的模型。

3.机器学习的疲劳裂纹检测

我们提出了一种计算机视觉和机器学习相结合的疲劳裂纹检测和增长路径预测方法。图1是该方法的概述，它由三个步骤组成:

步骤1.预处理用于检测数据集的创建，将原始图像分成若干块，并通过传统的图像处理从这些块中提取特征。

步骤2.使用机器学习进行分类，利用机器学习将块分类为有裂纹和无裂纹。

步骤3.利用分类结果对裂纹进行测量，在原始图像中标记裂纹，并利用裂纹的坐标来检测裂纹的扩展方向和长度。

3.1. 特征提取

特征提取包括二值化、图像分离和特征像素计数。二值化后，每张裁剪后的图像分别被纵轴和横轴分割成四个部分。这意味着裁剪后的图像被分成16个部分。然后对二值化后的图像中各部分的白像素数进行计数。最后得到16个数字作为裂缝分类的特征。

3.2. 检测数据集预处理

由于原始图像太大，裂缝有时小于原始图像大小，因此应将图像裁剪成几个块。在第一步中，原始图像被裁剪成几个块。裁剪的动作如图2所示。图2(a)为简单原始图像，大小为{Size_j， Size_i}。图2 (b)是中心块，其大小定义为8?8。

当裂缝分类正确时，我们只能得到裂缝的局部信息。这意味着我们只获得了原始图像中的裂纹坐标，这一步很难判断裂纹的扩展方向和长度。为了解决生长路径预测的问题，我们从左、右、上、下四个方向移动起点，然后裁剪图像?；坏捕魅缤?(c)、(d)、(e)、(f)所示，分别表示左换挡、右换挡、上换挡和下换挡。移位像素数定义为步长，如图2所示，步长定义为2。

这并不意味着可以在每个块中检测到裂缝。然而，通过这种方式，可能会在某些块中检测到裂缝。例如，在图2(b)的裁剪图像中存在部分裂纹。通过平移图像，左移图像(c)失去了裂缝，而右移图像中仍然存在一部分裂缝。在这种情况下，可以在(b)和(d)中检测到裂缝，并在同一位置进行标记。

算法1以五个方向显示原始图像的裁剪块。首先计算五个块的起始点（左上坐标），然后检查溢出。当溢出不存在时，块被裁剪。

3.3. 机器学习分类

我们采用支持向量机、KNN、朴素贝叶斯、决策树、随机森林、集成模型和神经网络等7种机器学习模型进行检验，并选出裂缝分类的模型。所有这些模型都是传统模型。

支持向量机是一种监督学习模型，用于从最大边界超平面上确定边界并对数据进行分类。KNN计算特征空间中的k个训练数据。Na?ve贝叶斯分类器是基于贝叶斯理论的概率分类器，特征之间具有很强的独立性假设。决策树是一种分类器，它使用树状模型进行决策及其可能的后果，包括事件结果的概率、资源成本和效用。决策树在工业中广泛应用于各种不确定数据领域，如道路裂缝检测和生物技术。随机森林结合了树的预测器，其中每棵树都独立依赖于随机向量样本的值，并且森林中的所有树都具有相同的分布。

神经网络是一种研究大脑神经元结构的数学模型，它为训练数据构建多层相互连接的节点，通常用于分类。这项工作构建了一个由五层组成的神经网络模型。输入层有8个节点，第二层、第三层、第四层分别有16、32、64个节点。前四层的激活为整流线性单元（ReLU），输出层的激活为s型。对于参数，epoch设为50，置信度为0.5，即当裂缝分类置信度大于0.5时，判断预测结果为裂缝，否则判断预测结果为非裂缝。集成模型通过组合几个基本模型来进行预测。关键思想是通过对基本模型预测进行投票，生成最终的预测结果

3.4. 疲劳裂纹扩展检测

分类后，对有裂缝的区域用正方形、椭圆形和圆形标记，表示分别从中心块、左右块、上下块检测裂缝。将渐降信息用于裂纹扩展预测。我们使用一个简单的图像（图3）来介绍增长预测算法。在这里，我们定义裂纹分支中的裂纹方向变化，这可以通过检查同类标记的退化来找到。例如，在左右裂纹分支的情况下，红色椭圆从两个（左和右）变为一个（左）。这意味着疲劳裂纹有向左扩展的趋势。此外，在上下裂纹分支的情况下，蓝色循环从两个（上下）变为一个（上）。这意味着疲劳裂纹扩展趋向于减小。因此，得出的结论是，裂纹扩展预测是左下的，距离可以通过对抗检测到的裂纹数来测量，如图3中的5?Block_size。

4.疲劳裂纹扩展试验过程及荧光响应实验程序

4.1.实验程序

本文对航空工业中常用的结构材料之一A2024铝合金进行了研究。1,1,2,2-四akis (4-nitrophenyl)乙烷(TPE-4N)是一种具有聚集诱导发射(AIE)特性的纯有机MRL材料，其晶体状态被破坏时表现出敏感的机械响应荧光信号。文献详细介绍了TPE-4N的荧光特性和成膜过程。在 A2024铝合金表面形成厚度约为1 μm的均匀结晶TPE-4N薄膜。疲劳裂纹试验试样的尺寸和试验装置如图 4所示。疲劳裂纹扩展试验采用单刃缺口试样。试件的尺寸如图 4 (a)所示。通过线电极切割加工一个尖锐的缺口。图 4(b)显示了实验装置，其中包括一台施加机械载荷的原位疲劳试验机(IBTC-5000, CARE)和一个成像系统，该系统包括一个CCD相机来捕捉实时图像，一个紫外灯来提供紫外线，以及一台计算机来进行数据分析。在室温下，在恒力(F?700 N)控制下进行疲劳试验。在脉冲循环拉伸(应力比R?0)下，进行了恒周期为4s的三角形波形加载。力从0上传至最大值，再下载至0，记为一个应力循环。同时，CCD摄像机记录了TPE-4N薄膜在不同周期(N)下的实时荧光响应。用相对灰度值表示荧光强度，即从背景中去除了灰度值。

4.2.疲劳裂纹扩展试验下的荧光响应

图5为A2024铝合金表面TPE-4N薄膜在单调张力作用下的荧光响应。未变形的试样表面未观察到明显的荧光。相对灰度随外加应力的增大而逐渐增大。因此，值得注意的是，不可见的机械应力被转化为可见的荧光信号。此外，更高的应力导致更高的荧光强度。图6为A2024铝合金单棱缺口疲劳裂纹扩展试验时的荧光图像。初始样品中除图像背景外，荧光信号不显著(如图 6(a)所示)。由图 6(b) - (e)可以看出，在疲劳裂纹附近出现荧光，荧光扩展伴随着疲劳裂纹扩展，应力循环次数分别为7300、8500、10200、12500。利用荧光信号可以实时监测疲劳裂纹的萌生、扩展路径和长度。

5.基于机器学习的疲劳裂纹扩展预测实验结果

5.1. 实验条件

使用Python 3.7和OpenCV编程进行预处理、特征提取和机器学习设计。标准平台是Anaconda。硬件环境是一个CPU (core i7 8th Gen，内存:32gb)。测试映像大小为577?314，目标映像的高度为6 mm?？榇笮∥?2?32，步幅(偏移大小)为8像素。因此，裁剪后的目标约为0.6毫米。

对于训练数据集的创建，我们将一张图像分为裂纹部分和非裂纹部分。然后我们将裂缝裁剪成几个32?32大小的块，并使用左、右、上和下移动进行数据集增强，以克服裂缝图像的数量限制。最后，创建41张裂纹和63张非裂纹大小为32?32的图像作为训练数据集。

5.2. 实验结果

我们应用了7个模型进行裂缝分类，测量了这些模型的精度，并将它们与以前的人工裂缝收集进行了比较。我们发现决策树模型是本研究中的模型，因为神经网络和朴素贝叶斯方法经常发生过拟合。此外，其他模型经常失去裂缝。因此，我们在本研究中配备了决策树模型。

图6 R-a)、R-b)、R-c)、R-d)、R-e)为(a)初始状态下的裂纹检测结果;(b) 7300个周期;(c) 8500次;(d) 10,200个周期;(e) 12,500个周期。如图6 R-a)所示，由于(a)的目标图像为初始状态，因此未检测到裂纹。在图 6R-b中，图像的中心有两个正方形，在正方形中也标记了几个椭圆和圆。这意味着在图像的中心有一个裂缝。然后在这些标记下可以观察到一个椭圆，这意味着裂缝现在正在向下扩展。如图6 (R-c)所示，在图6 (r)所示的最后一个椭圆上增加了两个周期。结果表明，最后的扩展路径预测是正确的，裂纹继续向下扩展。最后一个椭圆为左椭圆，表示裂纹扩展方向为左向下。如图6 (R-d)所示，在最后一个椭圆和周期中增加一个正方形。这也证明了最后的扩展预测是正确的，裂纹继续向下扩展。在图 6(R-e)中检测到的裂纹区域左侧加四个周期?？梢缘玫嚼嗨频脑龀で魇?。

裂纹扩展方向和裂纹长度随循环的变化如图 7所示。发现裂纹扩展方向预测正确，在10200 ~ 12500次循环之间，由于裂纹长度增加，裂纹扩展速度最快(图中标注了大部分裂纹痕迹)。这也证明了我们的建议的有效性，即更长的周期带来更长的裂纹增长。

6.讨论

提出了一种基于机器学习的疲劳裂纹扩展检测方法，该方法将计算机视觉与机器学习相结合。实验结果表明，该方法能准确监测疲劳裂纹的扩展情况，包括裂纹长度和裂纹路径。且长度精度水平为一块尺寸为0.6 mm，可用于实际应用。由于时间较短，本研究使用了两种分类机器学习模型(决策树)，计算时间几乎是实时的。

但是，由于弱裂纹数据集和光线变化的影响，实验结果中出现了一些检测误差，如图中图像左侧的检测误差(Rb)。有时，错误检测发生在图像的探测中。由于光线变化很小，因此光校正并不是克服这一问题的有效方法。幸运的是，这种误差不会在集中时发生，因此我们可以消除这些分散的标记，以克服光影响的问题

此外，尽管根据相关工作，深度学习可能是一种很好的裂纹检测方法，但应用几种裂纹检测模型并没有达到比机器学习方法更好的精度。原因与训练数据集的弱点有关。

结论

提出了一种结合计算机视觉和机器学习的基于机器学习的疲劳裂纹扩展检测方法。利用计算机视觉进行数据生成，利用机器学习模型进行裂纹检测，然后利用计算机视觉分析疲劳裂纹扩展路径和长度。实验结果证明了该方法对疲劳裂纹扩展路径预测的有效性，获得的裂纹长度测量精度为0.6 mm。此外，轻微的机器学习模型(决策树)帮助我们实现实时的裂纹检测。但是，由于裂纹数据本身的缺陷和受的影响较小，在今后的工作中存在一定的误差，需要加以纠正。

算法1.数据集创建