原標題：“AI+X射線檢測”助力的鋁合金壓鑄件缺陷研究

鋁合金壓鑄件具有較高的比強度、比剛度、耐腐蝕性，在汽車、航天航空、 電子產(chǎn)品和醫(yī)療設(shè)備等領(lǐng)域中得到廣泛應(yīng)用。實際壓鑄過程中由于原材料成分異常、模具設(shè)計不合理、工藝參數(shù)不當?shù)染C合因素，會造成鋁合金壓鑄件內(nèi)部產(chǎn)生氣孔、縮孔和縮松、夾渣等缺陷。這些位于壓鑄件內(nèi)部的缺陷在交變應(yīng)力的作用下會進一步擴張，如果不及時發(fā)現(xiàn)會造成嚴重的安全隱患。為了在生產(chǎn)過程中檢測鋁合金壓鑄件的內(nèi)部缺陷，需采用X射線成像技術(shù)對其內(nèi)部缺陷進行檢查。

目前有接近80%的鋁合金壓鑄件制造企業(yè)通過人工判定缺陷，采用人工判定缺陷的評價標準因人而異，很難統(tǒng)一，且易造成誤檢和漏檢。在判定過程中，質(zhì)檢員的檢測依據(jù)除了關(guān)注缺陷面積的大小外，還需要關(guān)注壓鑄缺陷所處的位置。鋁合金壓鑄件的關(guān)鍵位置包括臺階孔、通孔、螺紋孔等。為了滿足鋁合金壓鑄件的檢測需求，鋁合金壓鑄件內(nèi)部缺陷分割算法除了需要對內(nèi)部缺陷進行分割外，還需要對零件中的關(guān)鍵位置進行分割。為了滿足上述需求，需要圍繞鋁合金壓鑄件X射線圖像開展基于多任務(wù)學習的分割算法研究。

近年來，深度學習在計算機視覺、自然語言處理以及推薦算法等領(lǐng)域得到廣泛研究和應(yīng)用?；谏疃葘W習的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）可以在具有大量數(shù)據(jù)的復雜場景中通過自學習的方式自動獲取任務(wù)所需特征。MERY D設(shè)計了CNN模型Xnet-Ⅱ識別鋁合金鑄件內(nèi)部缺陷，提出了橢圓生成模型和對抗生成網(wǎng)絡(luò)來模擬鑄造缺陷擴充缺陷樣本。研究者提出了一種空間注意雙線性卷積神經(jīng)網(wǎng)絡(luò)對鋁合金壓鑄件內(nèi)部缺陷類型進行分類。提出了一種基于Mask R-CNN的鐵路鑄件X射線缺陷檢測算法，提出的模型可以較好地識別圖像中氣泡和縮松缺陷。提出了一種自適應(yīng)深度和感受野選擇的鑄件內(nèi)部缺陷分割網(wǎng)絡(luò)，在CNN中引入自適應(yīng)深度選擇模塊有助于鑒別相似的缺陷類型，提出的模型可以對X射線圖像中的缺陷進行分割和分類。

基于多任務(wù)學習的語義分割算法通過將多個具有相關(guān)性的分割任務(wù)進行融合，通過設(shè)計統(tǒng)一的分割模型對具有相關(guān)性任務(wù)從單一數(shù)據(jù)中提取互補的特征，提高各個任務(wù)的分割精度。研究者提出了FusionNet多任務(wù)分割模型，設(shè)計了邊界感知分支對目標的邊界特征進行監(jiān)督，提高模型在邊界區(qū)域的分割精度。設(shè)計了一個雙路的編碼模型，在提取邊界時引入了注意力機制模塊來提高模型在邊界的分割精度。提出了多任務(wù)分割模型來提取目標主體特征，通過設(shè)計相應(yīng)的損失函數(shù)對主體特征和邊緣特征進行監(jiān)督，提升模型在兩個任務(wù)中的分割性能。

鋁合金壓鑄件缺陷分割任務(wù)和關(guān)鍵位置分割任務(wù)之間不存在明顯的相關(guān)性，而在現(xiàn)有的多任務(wù)分割算法研究中，對于具有低相關(guān)性的多任務(wù)分割算法研究報道較少。本研究面向缺陷分割和關(guān)鍵位置分割的多任務(wù)分割算法開展研究，首先提出關(guān)鍵位置邊界感知解碼器以提高對關(guān)鍵位置的分割精度。為了提升對低相關(guān)性任務(wù)的特征提取能力，進一步設(shè)計局部共享編碼模型提高模型，最后構(gòu)建交互式注意力模塊，將關(guān)鍵位置特征及其邊界特征進行自適應(yīng)融合來提高兩個任務(wù)的分割精度，旨在為鋁合金壓鑄件缺陷檢測分析提供參考。

圖文結(jié)果

鋁合金壓鑄件關(guān)鍵位置及缺陷見圖1。鋁合金壓鑄件多任務(wù)分割模型（Casting Parts X-Ray Image Multi-Task Defect Segmentation Network，CXMTDS-Net）由3個模塊組成：局部共享雙路編碼模塊（Partly Parameters Sharing Two-Stream Encoder Module， PPSTSEM）、缺陷分割解碼器（Defect Segmentation Decoder，DSD）和關(guān)鍵位置解碼器（Key Location Segmentation Decoder，KLSD），見圖2。PPSTSEM模塊在淺層階段對編碼部分參數(shù)共享，在深層階段設(shè)計了針對不同任務(wù)的編碼分支用于提取兩個低相關(guān)性任務(wù)的語義特征。DSD模塊中采用解碼模型A和解碼模型B對編碼器中的特征進行分層解碼得到缺陷區(qū)域。在KLSD中提出了針對關(guān)鍵位置分割的解碼器，設(shè)計了關(guān)鍵位置邊界分割解碼器用于提高對關(guān)鍵位置的分割精度，進一步設(shè)計了交互式感知模塊，對關(guān)鍵位置特征和邊界特征進行自適應(yīng)融合，提高了對邊界位置分割和邊界分割的性能。

針對鋁合金壓鑄件場景復雜且具有缺陷區(qū)域邊界的特性，提出一種基于深度學習的鋁合金壓鑄件X射線圖像缺陷分割網(wǎng)絡(luò)（Casting Parts X-Ray Image Defect Segmentation Network， CXDS-Net），見圖3。缺陷分割模型采用UNet架構(gòu)為骨干網(wǎng)絡(luò)，編碼器采用ResNet101模型以提高在復雜場景中提取有效特征的能力。

圖1 鋁合金壓鑄件關(guān)鍵位置及缺陷示例

圖2 鋁合金壓鑄件多任務(wù)分割模型結(jié)構(gòu)

圖3 鋁合金壓鑄件X射線圖像缺陷分割模型

由于壓鑄缺陷分割任務(wù)和鑄件關(guān)鍵位置分割任務(wù)之間的低相關(guān)性，直接在缺陷分割解碼器中引入關(guān)鍵位置分割解碼器并不能滿足分割需求。因此，設(shè)計了針對壓鑄件關(guān)鍵位置分割任務(wù)的解碼器（Key Parts Branch，KPB），見圖2。關(guān)鍵位置在X射線圖像中較為明顯，在解碼器中直接采用經(jīng)過原始圖像編碼后提取的特征即可獲取充足的關(guān)鍵位置處的紋理特征和深層語義特征。在本研究中，將原始圖像編碼的各層級輸出的特征圖分別用x0~x4來表示，關(guān)鍵位置分割解碼器中的解碼模塊A和B的具體結(jié)構(gòu)見圖4。雖然鋁合金壓鑄件中的關(guān)鍵位置在X射線圖像中的特征較為明顯，但是關(guān)鍵位置的外形和位置多樣，且在關(guān)鍵位置的部分邊界存在不連貫處，直接采用關(guān)鍵位置解碼器進行分割時，部分分割結(jié)果會在邊界處的分割精度較低。提出邊界感知解碼器來對關(guān)鍵位置的邊界進行分割，見圖5，根據(jù)編碼層級的不同，分別設(shè)計了3種邊界感知模塊（Edge-Aware Branch，EAB），在EAB_1中，利用編碼模塊中的淺層特征—x4特征圖像，同時進行對關(guān)鍵位置分割及其邊界進行分割。在EAB_2中，設(shè)計了3個解碼模塊分別利用編碼模塊中的x2、x3、x4特征圖同時進行語義分割和邊界分割。在EAB_3中，設(shè)計了和KPB一致的解碼器結(jié)構(gòu)，充分利用了不同階段的編碼器的特征。在后續(xù)的試驗中，將對設(shè)計基于不同融合階段的EAB模型進行定量評價。

圖4 鋁合金壓鑄件關(guān)鍵位置分割模型結(jié)構(gòu)

圖5 邊界感知的關(guān)鍵位置分割解碼器策略

在高相關(guān)性的多任務(wù)分割任務(wù)中，研究者廣泛采用共享編碼器的方式同時對各個任務(wù)相關(guān)的特征進行編碼，通過在多任務(wù)監(jiān)督下參數(shù)共享的編碼器可以提取互補的特征，分別提高各個任務(wù)的分割精度。對于低相關(guān)性的多任務(wù)分割編碼模型而言，在淺層編碼階段，可以從圖像中提取出鋁合金壓鑄件的結(jié)構(gòu)特征、邊界信息和壓鑄缺陷的紋理信息。在深層編碼階段會對不同的區(qū)域進行深度語義特征提取，在同一編碼模塊中并不能提高有效的互補語義信息，這種直接參數(shù)共享編碼的方法反而會降低兩個任務(wù)的分割精度。

在淺層特征提取階段通過參數(shù)共享的方式同時對壓鑄缺陷的紋理特征和關(guān)鍵位置的紋理信息以及邊界特征進行編碼。在提出的PPSTSEM中，新設(shè)計的深層編碼分支的卷積層參數(shù)與原始編碼對應(yīng)卷積層的模型參數(shù)保持一致，根據(jù)采用深層編碼層級的不同，可以將在PPSTSEM的深層編碼分支分為3種：只采用第5_1卷積層，采用第4_1、第5_1卷積層，采用第3_1、第4_1、第5_1卷積層，見圖6，在試驗環(huán)節(jié)中將對采用不同層級的深層編碼階段進行驗證。

為了進一步提高對關(guān)鍵位置分割任務(wù)的分割精度，提出了一種交互式注意力模塊（Interactive Attention Module，IAM），見圖7，通過采用與本任務(wù)具有高相關(guān)的其他任務(wù)的特征，引入注意力機制模塊獲取本任務(wù)特征的注意力圖，對提取的注意力圖取反獲得互補的注意力圖，將互補的注意力圖與來自其他任務(wù)的特征進行像素級相乘來獲取與本任務(wù)互補的特征，進一步與原始特征進行像素級的相加來得到模塊的輸出特征。

圖6 局部參數(shù)共享雙路編碼方法

圖7 交互式感知模塊

構(gòu)建了汽車鋁合金壓鑄件X射線圖像的數(shù)據(jù)集，在實際的汽車零部件檢測過程中，檢測人員將待檢測的零件放置到X射線圖像檢測系統(tǒng)中。X射線檢測系統(tǒng)由4部分組成：X射線發(fā)射源、機械傳動系統(tǒng)、數(shù)字平板探測器和計算機圖像處理系統(tǒng)。

在構(gòu)建的數(shù)據(jù)集中包含3 200張X射線圖像提供了缺陷區(qū)域的人工標注結(jié)果，標注的內(nèi)容主要包括：缺陷區(qū)域像素級、鋁合金壓鑄件中的關(guān)鍵位置及其邊界像素級，見圖8，其中汽車鋁合金壓鑄件中的關(guān)鍵位置主要包括待加工的孔、端面以及與其他零件配合的表面等。在鋁合金壓鑄件中，如果缺陷出現(xiàn)在關(guān)鍵位置時，會對下一工序的加工及零件后續(xù)的使用過程中造成較大的安全隱患。在質(zhì)檢過程中，需要重點關(guān)注這類關(guān)鍵位置的缺陷分布情況。

圖8 汽車鋁合金壓鑄件X射線圖像數(shù)據(jù)集標注示例

表1 基準模型在采用不同關(guān)鍵位置邊界感知解碼器的結(jié)果

表2 基準模型在采用不同局部參數(shù)共享雙路編碼器的結(jié)果

本試驗采用 CXDS-Net+ EAB_1 模型作為基準網(wǎng)絡(luò)。由試驗結(jié)果可知，提出的 3 種 PPSTSEM 均可以有效地提高模型在關(guān)鍵位置分割任務(wù)上的分割精度，其中PPSTSEM_2 在mIoUK和mIoUE 指標上均達到最佳。

為了進一步在保證缺陷分割精度的同時提高關(guān)鍵位置處的分割精度，提出了一種交互式注意力模塊，在關(guān)鍵位置解碼階段，通過對關(guān)鍵位置解碼特征和關(guān)鍵位置邊界解碼特征分別通過注意力機制模塊進行互補融合來提高各自任務(wù)的分割精度。本試驗以 CXDSNet+EAB_1 模型為基準網(wǎng)絡(luò)，對 IAM 模型的有效性進行驗 證 ，結(jié)果見表3?？梢钥闯?，在解碼階段引入IAM后，通過對關(guān)鍵位置特征及其邊界特征進行互補融合后，模型在mIoUK和mIoUE指標上均有所提升，從而驗證了提出 IAM 對關(guān)鍵位置分割任務(wù)的有效性。進一步對驗證將各個模塊集成到基準網(wǎng)絡(luò)后模型的有效性，試驗結(jié)果見表4。由試驗結(jié)果可知，提出的多任務(wù)缺陷分割模型可以同時提高在缺陷分割和關(guān)鍵位置分割這兩個具有低相關(guān)性任務(wù)的分割精度，可以很好地滿足在實際質(zhì)檢過程中同時對缺陷區(qū)域和關(guān)鍵位置區(qū)域分割的需求。

表3 基準模型在采用交互式注意力模塊的結(jié)果

表4 多任務(wù)分割模型消融試驗對比

圖9為CXDS-Net+KPB和提出的多任務(wù)分割模型CXMTDS-Net對關(guān)鍵位置及其邊界的分割結(jié)果示例。從分割結(jié)果可知，CXMTDS-Net模型相比于CXDS-Net+KPB對關(guān)鍵位置的分割性能有顯著提升，CXDS-Net+KPB僅在具有顯著邊界的關(guān)鍵位置的分割效果較好，而在邊界模糊的區(qū)域的分割精度需要進一步改進，而CXMTDS-Net在對關(guān)鍵位置邊界不明顯的區(qū)域具有更好的分割精度，見圖10，可見提出的模型可以實現(xiàn)對缺陷區(qū)域的精準分割。

圖9 關(guān)鍵位置分割結(jié)果示例

圖10 CXMTDS-Net分割結(jié)果示例

針對缺陷分割和關(guān)鍵位置分割任務(wù)提出了多任務(wù)分割模型CXMTDS-Net，可以有效提升關(guān)鍵位置分割精度。為了提升顯著性目標的分割精度，F(xiàn)AN D P等提出了一種反向注意力模塊（Reverse Attention Module，RAM），見圖11。通過該模塊可以挖掘分割區(qū)域與其邊界之間的內(nèi)在聯(lián)系，從而提高模型對目標區(qū)域的分割精度。QIN X B等提出了一種殘差細化模塊（Residual Refinement Module，RRM），設(shè)計了一種編碼和解碼的結(jié)構(gòu)對模型預測的結(jié)果進行修正，從而提高模型在邊界區(qū)域的分割精度。以CXDS-Net +EAB_2+ PPSTSEM_2為基準網(wǎng)絡(luò)分別將RAM和RRM方法與基準網(wǎng)絡(luò)融合與所提出的CXMTDS-Net模型進行定量對比，從而驗證提出的方法對提高關(guān)鍵位置分割精度的有效性，見圖12。

圖11 RAM模塊結(jié)構(gòu)示意圖

圖12 解碼模塊C和RMM結(jié)構(gòu)示意圖

表5 提出的CXMTDS-Net與其他方法的結(jié)果對比

結(jié)論

（1）針對鋁合金鑄件缺陷檢測，提出了關(guān)鍵位置邊界感知解碼模塊，對關(guān)鍵位置特征和邊界區(qū)域的特征分別進行監(jiān)督，顯著提升關(guān)鍵位置分割精度，與基準網(wǎng)絡(luò)相比 mIoUK上升了 0.7。

（2）設(shè)計了局部參數(shù)共享雙路編碼器，在淺層特征提取中參數(shù)共享，在深層編碼階段構(gòu)建針對不同任務(wù)的編碼分支，實現(xiàn)對低相關(guān)性任務(wù)的特征的高效提取，在mIoUK和mIoUE指標上分別提高了1.1和0.7。

（3）探明了關(guān)鍵位置和關(guān)鍵位置邊界特征中的交互融合機制，開發(fā)了交互式注意力模塊，引入注意力機制對關(guān)鍵位置和邊界區(qū)域的特征進行自適應(yīng)融合，有效提高模型對關(guān)鍵位置的分割精度，在mIoUK和mIoUE指標上分別提高了0.4和1.8。

《鋁合金壓鑄件X射線圖像多任務(wù)分割方法研究》

杜旺哲1,2,3 劉元銘1,2,3 牛小淼1,2,3 王濤1,2,3

1.太原理工大學機械與運載工程學院；2. 太原理工大學先進金屬復合材料成形技術(shù)與裝備教育部工程研究中心；3. 太原理工大學金屬成形技術(shù)與重型裝備全國重點實驗室

本文轉(zhuǎn)載自：《特種鑄造及有色合金》雜志社