原标题：“AI+X射线检测”助力的铝合金压铸件缺陷研究

铝合金压铸件具有较高的比强度、比刚度、耐腐蚀性，在汽车、航天航空、 电子产品和医疗设备等领域中得到广泛应用。实际压铸过程中由于原材料成分异常、模具设计不合理、工艺参数不当等综合因素，会造成铝合金压铸件内部产生气孔、缩孔和缩松、夹渣等缺陷。这些位于压铸件内部的缺陷在交变应力的作用下会进一步扩张，如果不及时发现会造成严重的安全隐患。为了在生产过程中检测铝合金压铸件的内部缺陷，需采用X射线成像技术对其内部缺陷进行检查。

目前有接近80%的铝合金压铸件制造企业通过人工判定缺陷，采用人工判定缺陷的评价标准因人而异，很难统一，且易造成误检和漏检。在判定过程中，质检员的检测依据除了关注缺陷面积的大小外，还需要关注压铸缺陷所处的位置。铝合金压铸件的关键位置包括台阶孔、通孔、螺纹孔等。为了满足铝合金压铸件的检测需求，铝合金压铸件内部缺陷分割算法除了需要对内部缺陷进行分割外，还需要对零件中的关键位置进行分割。为了满足上述需求，需要围绕铝合金压铸件X射线图像开展基于多任务学习的分割算法研究。

近年来，深度学习在计算机视觉、自然语言处理以及推荐算法等领域得到广泛研究和应用。基于深度学习的卷积神经网络（Convolutional Neural Network， CNN）可以在具有大量数据的复杂场景中通过自学习的方式自动获取任务所需特征。MERY D设计了CNN模型Xnet-Ⅱ识别铝合金铸件内部缺陷，提出了椭圆生成模型和对抗生成网络来模拟铸造缺陷扩充缺陷样本。研究者提出了一种空间注意双线性卷积神经网络对铝合金压铸件内部缺陷类型进行分类。提出了一种基于Mask R-CNN的铁路铸件X射线缺陷检测算法，提出的模型可以较好地识别图像中气泡和缩松缺陷。提出了一种自适应深度和感受野选择的铸件内部缺陷分割网络，在CNN中引入自适应深度选择模块有助于鉴别相似的缺陷类型，提出的模型可以对X射线图像中的缺陷进行分割和分类。

基于多任务学习的语义分割算法通过将多个具有相关性的分割任务进行融合，通过设计统一的分割模型对具有相关性任务从单一数据中提取互补的特征，提高各个任务的分割精度。研究者提出了FusionNet多任务分割模型，设计了边界感知分支对目标的边界特征进行监督，提高模型在边界区域的分割精度。设计了一个双路的编码模型，在提取边界时引入了注意力机制模块来提高模型在边界的分割精度。提出了多任务分割模型来提取目标主体特征，通过设计相应的损失函数对主体特征和边缘特征进行监督，提升模型在两个任务中的分割性能。

铝合金压铸件缺陷分割任务和关键位置分割任务之间不存在明显的相关性，而在现有的多任务分割算法研究中，对于具有低相关性的多任务分割算法研究报道较少。本研究面向缺陷分割和关键位置分割的多任务分割算法开展研究，首先提出关键位置边界感知解码器以提高对关键位置的分割精度。为了提升对低相关性任务的特征提取能力，进一步设计局部共享编码模型提高模型，最后构建交互式注意力模块，将关键位置特征及其边界特征进行自适应融合来提高两个任务的分割精度，旨在为铝合金压铸件缺陷检测分析提供参考。

图文结果

铝合金压铸件关键位置及缺陷见图1。铝合金压铸件多任务分割模型（Casting Parts X-Ray Image Multi-Task Defect Segmentation Network，CXMTDS-Net）由3个模块组成：局部共享双路编码模块（Partly Parameters Sharing Two-Stream Encoder Module， PPSTSEM）、缺陷分割解码器（Defect Segmentation Decoder，DSD）和关键位置解码器（Key Location Segmentation Decoder，KLSD），见图2。PPSTSEM模块在浅层阶段对编码部分参数共享，在深层阶段设计了针对不同任务的编码分支用于提取两个低相关性任务的语义特征。DSD模块中采用解码模型A和解码模型B对编码器中的特征进行分层解码得到缺陷区域。在KLSD中提出了针对关键位置分割的解码器，设计了关键位置边界分割解码器用于提高对关键位置的分割精度，进一步设计了交互式感知模块，对关键位置特征和边界特征进行自适应融合，提高了对边界位置分割和边界分割的性能。

针对铝合金压铸件场景复杂且具有缺陷区域边界的特性，提出一种基于深度学习的铝合金压铸件X射线图像缺陷分割网络（Casting Parts X-Ray Image Defect Segmentation Network， CXDS-Net），见图3。缺陷分割模型采用UNet架构为骨干网络，编码器采用ResNet101模型以提高在复杂场景中提取有效特征的能力。

图1 铝合金压铸件关键位置及缺陷示例

图2 铝合金压铸件多任务分割模型结构

图3 铝合金压铸件X射线图像缺陷分割模型

由于压铸缺陷分割任务和铸件关键位置分割任务之间的低相关性，直接在缺陷分割解码器中引入关键位置分割解码器并不能满足分割需求。因此，设计了针对压铸件关键位置分割任务的解码器（Key Parts Branch，KPB），见图2。关键位置在X射线图像中较为明显，在解码器中直接采用经过原始图像编码后提取的特征即可获取充足的关键位置处的纹理特征和深层语义特征。在本研究中，将原始图像编码的各层级输出的特征图分别用x0~x4来表示，关键位置分割解码器中的解码模块A和B的具体结构见图4。虽然铝合金压铸件中的关键位置在X射线图像中的特征较为明显，但是关键位置的外形和位置多样，且在关键位置的部分边界存在不连贯处，直接采用关键位置解码器进行分割时，部分分割结果会在边界处的分割精度较低。提出边界感知解码器来对关键位置的边界进行分割，见图5，根据编码层级的不同，分别设计了3种边界感知模块（Edge-Aware Branch，EAB），在EAB_1中，利用编码模块中的浅层特征—x4特征图像，同时进行对关键位置分割及其边界进行分割。在EAB_2中，设计了3个解码模块分别利用编码模块中的x2、x3、x4特征图同时进行语义分割和边界分割。在EAB_3中，设计了和KPB一致的解码器结构，充分利用了不同阶段的编码器的特征。在后续的试验中，将对设计基于不同融合阶段的EAB模型进行定量评价。

图4 铝合金压铸件关键位置分割模型结构

图5 边界感知的关键位置分割解码器策略

在高相关性的多任务分割任务中，研究者广泛采用共享编码器的方式同时对各个任务相关的特征进行编码，通过在多任务监督下参数共享的编码器可以提取互补的特征，分别提高各个任务的分割精度。对于低相关性的多任务分割编码模型而言，在浅层编码阶段，可以从图像中提取出铝合金压铸件的结构特征、边界信息和压铸缺陷的纹理信息。在深层编码阶段会对不同的区域进行深度语义特征提取，在同一编码模块中并不能提高有效的互补语义信息，这种直接参数共享编码的方法反而会降低两个任务的分割精度。

在浅层特征提取阶段通过参数共享的方式同时对压铸缺陷的纹理特征和关键位置的纹理信息以及边界特征进行编码。在提出的PPSTSEM中，新设计的深层编码分支的卷积层参数与原始编码对应卷积层的模型参数保持一致，根据采用深层编码层级的不同，可以将在PPSTSEM的深层编码分支分为3种：只采用第5_1卷积层，采用第4_1、第5_1卷积层，采用第3_1、第4_1、第5_1卷积层，见图6，在试验环节中将对采用不同层级的深层编码阶段进行验证。

为了进一步提高对关键位置分割任务的分割精度，提出了一种交互式注意力模块（Interactive Attention Module，IAM），见图7，通过采用与本任务具有高相关的其他任务的特征，引入注意力机制模块获取本任务特征的注意力图，对提取的注意力图取反获得互补的注意力图，将互补的注意力图与来自其他任务的特征进行像素级相乘来获取与本任务互补的特征，进一步与原始特征进行像素级的相加来得到模块的输出特征。

图6 局部参数共享双路编码方法

图7 交互式感知模块

构建了汽车铝合金压铸件X射线图像的数据集，在实际的汽车零部件检测过程中，检测人员将待检测的零件放置到X射线图像检测系统中。X射线检测系统由4部分组成：X射线发射源、机械传动系统、数字平板探测器和计算机图像处理系统。

在构建的数据集中包含3 200张X射线图像提供了缺陷区域的人工标注结果，标注的内容主要包括：缺陷区域像素级、铝合金压铸件中的关键位置及其边界像素级，见图8，其中汽车铝合金压铸件中的关键位置主要包括待加工的孔、端面以及与其他零件配合的表面等。在铝合金压铸件中，如果缺陷出现在关键位置时，会对下一工序的加工及零件后续的使用过程中造成较大的安全隐患。在质检过程中，需要重点关注这类关键位置的缺陷分布情况。

图8 汽车铝合金压铸件X射线图像数据集标注示例

表1 基准模型在采用不同关键位置边界感知解码器的结果

表2 基准模型在采用不同局部参数共享双路编码器的结果

本试验采用 CXDS-Net+ EAB_1 模型作为基准网络。由试验结果可知，提出的 3 种 PPSTSEM 均可以有效地提高模型在关键位置分割任务上的分割精度，其中PPSTSEM_2 在mIoUK和mIoUE 指标上均达到最佳。

为了进一步在保证缺陷分割精度的同时提高关键位置处的分割精度，提出了一种交互式注意力模块，在关键位置解码阶段，通过对关键位置解码特征和关键位置边界解码特征分别通过注意力机制模块进行互补融合来提高各自任务的分割精度。本试验以 CXDSNet+EAB_1 模型为基准网络，对 IAM 模型的有效性进行验 证 ，结果见表3。可以看出，在解码阶段引入IAM后，通过对关键位置特征及其边界特征进行互补融合后，模型在mIoUK和mIoUE指标上均有所提升，从而验证了提出 IAM 对关键位置分割任务的有效性。进一步对验证将各个模块集成到基准网络后模型的有效性，试验结果见表4。由试验结果可知，提出的多任务缺陷分割模型可以同时提高在缺陷分割和关键位置分割这两个具有低相关性任务的分割精度，可以很好地满足在实际质检过程中同时对缺陷区域和关键位置区域分割的需求。

表3 基准模型在采用交互式注意力模块的结果

表4 多任务分割模型消融试验对比

图9为CXDS-Net+KPB和提出的多任务分割模型CXMTDS-Net对关键位置及其边界的分割结果示例。从分割结果可知，CXMTDS-Net模型相比于CXDS-Net+KPB对关键位置的分割性能有显著提升，CXDS-Net+KPB仅在具有显著边界的关键位置的分割效果较好，而在边界模糊的区域的分割精度需要进一步改进，而CXMTDS-Net在对关键位置边界不明显的区域具有更好的分割精度，见图10，可见提出的模型可以实现对缺陷区域的精准分割。

图9 关键位置分割结果示例

图10 CXMTDS-Net分割结果示例

针对缺陷分割和关键位置分割任务提出了多任务分割模型CXMTDS-Net，可以有效提升关键位置分割精度。为了提升显著性目标的分割精度，FAN D P等提出了一种反向注意力模块（Reverse Attention Module，RAM），见图11。通过该模块可以挖掘分割区域与其边界之间的内在联系，从而提高模型对目标区域的分割精度。QIN X B等提出了一种残差细化模块（Residual Refinement Module，RRM），设计了一种编码和解码的结构对模型预测的结果进行修正，从而提高模型在边界区域的分割精度。以CXDS-Net +EAB_2+ PPSTSEM_2为基准网络分别将RAM和RRM方法与基准网络融合与所提出的CXMTDS-Net模型进行定量对比，从而验证提出的方法对提高关键位置分割精度的有效性，见图12。

图11 RAM模块结构示意图

图12 解码模块C和RMM结构示意图

表5 提出的CXMTDS-Net与其他方法的结果对比

结论

（1）针对铝合金铸件缺陷检测，提出了关键位置边界感知解码模块，对关键位置特征和边界区域的特征分别进行监督，显著提升关键位置分割精度，与基准网络相比 mIoUK上升了 0.7。

（2）设计了局部参数共享双路编码器，在浅层特征提取中参数共享，在深层编码阶段构建针对不同任务的编码分支，实现对低相关性任务的特征的高效提取，在mIoUK和mIoUE指标上分别提高了1.1和0.7。

（3）探明了关键位置和关键位置边界特征中的交互融合机制，开发了交互式注意力模块，引入注意力机制对关键位置和边界区域的特征进行自适应融合，有效提高模型对关键位置的分割精度，在mIoUK和mIoUE指标上分别提高了0.4和1.8。

《铝合金压铸件X射线图像多任务分割方法研究》

杜旺哲1,2,3 刘元铭1,2,3 牛小淼1,2,3 王涛1,2,3

1.太原理工大学机械与运载工程学院；2. 太原理工大学先进金属复合材料成形技术与装备教育部工程研究中心；3. 太原理工大学金属成形技术与重型装备全国重点实验室

本文转载自：《特种铸造及有色合金》杂志社