众所周知，显微计算机断层扫描成像（micro computed tomography，micro-CT）是一种能够将待测物体的微观结构进行图像可视化的无损检测技术，通过计算穿透被扫描物体的X射线衰减值，获取物体的断层图像^[1]，从而得到待测物体内部的结构（或缺陷）和材质（或密度）等信息，已广泛应用于生命科学、材料科学、地球科学等诸多领域^[2]。

针对包含有高密度金属的岩矿样品，在进行micro-CT扫描时，由于金属对于X射线具有较强的吸收率，引起强衰减甚至完全阻挡了入射X射线，致使探测器所接收的是缺失或损坏了的投影数据^[3]。当采用传统滤波反投影方法（filtered back projection，FBP）重建CT图像时，将出现明、暗相间的放射状条纹，即“金属伪影”。金属伪影会严重影响CT成像质量，降低图像清晰度，对岩矿样品内部结构信息、密度信息的计算带来严重干扰^[4]。因此，如何减少或降低岩矿样工业CT图像中的金属伪影是一个关键技术问题。

传统的金属伪影校正（metal artifact reduction，MAR）方法主要分为4类，即基于物理效应的预处理方法、投影域金属伪影插值校正算法（linear interpolation normal metal artifact reduction，LI-NMAR）、投影域迭代校正算法和投影域混合校正算法。

基于物理效应的预处理方法是依据CT投影的局部统计特性，对形成伪影的物理效应建立模型并拟合校正曲线，进而利用滤波、迭代等方法对数据进行校正以改善重建结果，该方法虽能在一定程度上抑制金属伪影，但距离实用仍有很大局限。LI-NMAR是应用最多的金属伪影校正算法，该算法主要使用插值策略来估计并填充缺失的数据，但难以保证插值边界处的平滑度，且滤波后会引入新的伪影干扰^[5]。迭代校正算法的思想是建立目标图像的投影值与CT探测器实际采集的投影值之间的插值函数，通过最小化目标函数寻找最接近目标图像的重建结果，该方法具有较强的抗噪性能，可以直接修正金属伪影，但步骤复杂，繁琐耗时，实用性受到一定限制^[6]。混合校正算法是结合不同校正机制多种方法的组合，混合技术对特定对象的金属伪影校正效果明显，但泛化性尚需提升。

目前，深度学习（deep learnin，DL）在图像分类^[7]、目标检测^[8]及图像去噪^[9]等领域已有成功的应用，基于深度学习的金属伪影校正算法，在医学成像领域亦显示出了巨大的应用潜力，国内外已经提出了多种基于深度学习的金属伪影校正算法，例如，使用卷积神经网络（convolutional neural network，CNN）^[10]和生成对抗网络（generative adversarial net，GANs）^[11]来恢复被金属伪影覆盖的数据。2018年，Zhang等^[12]提出了一种融合了多种MAR方法的CNN框架，以此提高伪影校正的性能；2019年，Liao等^[13]提出了一种新的无监督伪影分离网络（artifact disentanglement network，ADN）；2020年，马燕等^[14]提出了一种基于残差编解码网络（residual encoder－decoder convolutional neural network，RED-CNN）的金属伪影校正（RED-CNN-MAR）算法，这些校正算法均获得了较好的伪影抑制效果。

然而，上述算法研究均是针对医学CT图像的金属伪影校正，难以直接将其移植至岩矿样品工业CT图像的金属伪影校正。因此，为了提升岩矿样工业CT成像质量，恢复图像细节，本文研究一种双域自适应金属伪影校正算法（dual-domain adaptive convolutional neural network metal artifact reduction，DDA-CNN-MAR），将包含有金属伪影的工业CT图像分别通过投影域网络和图像域网络进行金属伪影的抑制，融合双域处理结果。由于网络取消全连接层，因而能够自适应输入图像的大小，实现含伪影图像到无伪影图像端到端映射，从而达到金属伪影校正的目的。

1.   原理与方法

1.1   基本原理

双域自适应网络算法是将LI-NMAR和RED-CNN-MAR方法融合，以此共同校正金属伪影。这两种方法的融合可以避免图像中信息的丢失和二次伪影的产生，有效进行数据的恢复。为此，将含有金属伪影的CT图像先后通过投影域网络和图像域网络，这样的网络结构既可以利用来自投影域的信息对金属伪影进行消除，又能通过图像域对图像的信息进行修复。

DDA-CNN-MAR算法网络结构（图1）由4部分组成：投影域增强网络、投影层、图像域增强网络、反投影层。

图  1  双域自适应网络结构原理图

Figure  1.  Dual-domain adaptive convolutional neural network structure

下载: 全尺寸图片 幻灯片

图中“投影层”表示投影操作算子，其将输入图像通过投影的方式映射至投影域，得到图像的正弦图。“反投影层”表示反投影操作算子，表示将投影域的正弦图通过反投影的方式映射至图像域，得到重建后的图像。

投影域增强网络以及图像域增强网络均为RED-CNN网络结构，投影域增强网络输入的是正弦域投影，图像域增强网络输入的是图像域上待增强的图像。LI-NMAR为插值校正模块，能够对输入的图像在正弦域进行插值校正。

模型的输入包括带有金属伪影的图片${\boldsymbol{X}}_{{\rm{i}}{\rm{n}}}\in{\boldsymbol{R}}^{m\times n}$，经过投影层后转化为正弦图$ {\boldsymbol{Y}}_{{\rm{i}}{\rm{n}}} $。再依次通过LI-NMAR，先、后输入投影域增强网络和图像域增强网络，最后得到校正后的CT图像X_out^[15]。

1.2   研究方法

1.2.1   基于RED-CNN的金属伪影校正模型

假设${\boldsymbol{X}}\in{\boldsymbol{R}}^{m\times n}$为带有金属伪影的CT重建图，而${\boldsymbol{Y}}\in{\boldsymbol{R}}^{m\times n}$是对应的正常的CT重建图，可以列出二者的关系式为：

其中$\sigma ：{{\boldsymbol{R}}}^{m\times n}\to {{\boldsymbol{R}}'}^{m\times n}$表示图像由无金属伪影到有金属伪影的矩阵变换。这样，能够将问题转化为求函数$ f $：

其中$ f $被看作$ {\sigma }^{-1} $的最佳近似值，$ {\sigma }^{-1} $代表金属伪影校正网络的矩阵变换。

1.2.2   RED-CNN金属伪影校正网络

本文研究的是一种将RED-CNN作为基础单元的金属伪影校正网络结构，其网络结构如图2所示。该网络主要包括两个模块：编码模块和解码模块。编码模块有5层卷积层，每一层的组成部分是卷积层（convolutional layer，Conv）、归一化层（batch normalization，BN）、激活函数（rectified linear activation function，ReLU），能够实现特征提取；解码模块包括5层反卷积层，每一层的组成部分是Conv+BN+ReLU，能够实现特征重组。在编码模块和解码模块之间，增加了一些连接借以形成残差网络，保护图像信息的完整性^[16]。

图  2  RED-CNN-MAR网络结构示意图

Figure  2.  RED-CNN-MAR network structure

下载: 全尺寸图片 幻灯片

当用于金属伪影校正时，RED-CNN网络可以消除大部分的金属伪影，但是在平坦区域仍然有一部分窄带状伪影。为了更好地恢复图像细节并完成金属伪影端到端的映射，本文考虑使用两个RED-CNN网络，分别从图像域和投影域同时进行模型训练，以此获得更高精度的校正。

1.2.3   投影域增强网络和图像域增强网络

在投影域增强网络中，对于输入的图片${{\boldsymbol{X}}}_{\rm{i}\rm{n}}$，在经过一次平行投影变换后转换为${{\boldsymbol{Y}}}_{\rm{i}\rm{n}}$，经过LI-NMAR后输出${{\boldsymbol{Y}}}_{\rm{L}\rm{I}}$。而后，将其输入投影域增强网络，得到初步校正后的输出${{\boldsymbol{Y}}}_{\rm{o}\rm{u}\rm{t}}$。假设投影域网络的矩阵运算为${{\boldsymbol{\delta }}}_{1}$，则${{\boldsymbol{Y}}}_{\rm{o}\rm{u}\rm{t}}$和${{\boldsymbol{Y}}}_{\rm{L}\rm{I}}$有如下关系：

损失函数使用均方误差来进行评定，使用损失值$ {L}_{1} $和$ {L}_{2} $来训练投影域增强网络：

其中$ f $为平行投影变换，$ {f}^{-1} $为投影反变换。

在图像域增强网络中，对于输入的正弦图像${{\boldsymbol{Y}}}_{{\rm{out}}}$，经过FBP反投影后转换为$\widehat{{\boldsymbol{X}}}$，再通过网络矩阵运算后的输出为${{\boldsymbol{X}}}_{\rm{o}\rm{u}\rm{t}}$。假设投影域网络的矩阵运算为${{{\delta }}}_{2}$，则网络输出${{\boldsymbol{X}}}_{\rm{o}\rm{u}\rm{t}}$同输入图像$\widehat{{\boldsymbol{X}}}$之间有如下关系式：

为了准确检测模型预测值和真实值之间的偏差，损失函数同样使用均方误差来进行评定，使用损失值$ {L}_{3} $来训练图像域增强网络：

其中${{\boldsymbol{X}}}_{\rm{o}\rm{u}\rm{t}}$和$\widehat{{\boldsymbol{C}}}$分别是图像域增强网络输出的图像和数据集对应的无金属伪影图像。

假设整体网络的损失函数为L，则有：

2.   实验结果与分析

2.1   实验环境与数据集

本文数据集通过微焦点工业CT扫描含高密度金属的岩矿样获得，CT图像大小为256×256，共6600组，并对金属伪影区域进行了人工标注。为保证训练所得模型的有效性，我们将数据集分为训练集和测试集两部分，其中训练集占80％，测试集占20％。

文中算法是在PyCharm平台上使用PyTorch框架完成训练及测试。运行平台采用Intel（R）Core（TM）i5-9600 KF CPU，主频3.70 GHz，NVIDIA TITAN V显卡，电脑内存16 G。训练次数设置为1000轮，采用${ \boldsymbol{\beta }}$=（0.9，0.999）的目标函数优化器，学习率设置为 $ 1\times {10}^{-5} $。

2.2   实验结果

利用LI-NMAR算法^[17]，RED-CNN-MAR算法^[16]，DDA-CNN-MAR的投影域输出作为本文的实验对照组。随机选取测试集中的样本进行对比测试（图3），其中，LI-NMAR和RED-CNN-MAR是为了验证DDA-CNN-MAR在金属伪影校正方面的优越性；引入DDA-CNN-MAR的投影域输出$\widehat{{\boldsymbol{X}}}$是为了观测DDA-CNN-MAR引入图像校正网络是否提升了校正质量。

图  3  一号样本的实验结果对比图

Figure  3.  Comparison of experimental results of sample No.1

下载: 全尺寸图片 幻灯片

图3（a）～图3（f）分别对应1号样本的原始图像、参考图像、LI-NMAR校正结果、RED-CNN-MAR校正结果、本文算法的投影域输出$ \widehat{{\boldsymbol{X}}} $和本文算法校正结果。图4为图3对应的区域局部放大图。

图  4  为图3中（a）～（f）对应的区域局部放大图

Figure  4.  The zoomed ROI area of Fig.3，respectively

下载: 全尺寸图片 幻灯片

图5（a）～图5（f）分别对应2号样本的原始图像、参考图像、LI-NMAR校正结果、RED-CNN-MAR校正结果、本文算法的投影域输出$\widehat{{\boldsymbol{X}}}$和本文算法校正结果。图6为图5对应的区域局部放大图。

图  5  二号样本的实验结果对比图

Figure  5.  Comparison of experimental results of sample No.2

下载: 全尺寸图片 幻灯片

图  6  为图5中（a）～（f）对应的区域局部放大图

Figure  6.  (a)-(f) are zoomed ROI area of Fig.5，respectively

下载: 全尺寸图片 幻灯片

由此可见，两组样本经过不同算法校正后，所有算法对于原有的金属伪影均产生了一定的抑制效果。同时，对比4种金属伪影去噪算法，DDA-CNN-MAR的伪影抑制效果最好。

由图3和图5不难看出，LI-NMAR算法引入了黑白相间的二次伪影，校正效果难说优良；RED-CNN-MAR和本文算法的投影域输出均能对金属伪影有一定的抑制，但前者对于较严重的伪影并未完全抑制，复原图中仍然有射线状的背景；后者不能很好地保留图像底层的信息，且呈现明显模糊；相对而言，本文算法较好地的恢复了伪影覆盖的区域，图像呈现较好的均匀性，且图像质量相比投影域输出结果具有显著提升，说明引入图像域校正网络有其必要性。但校正图像整体上有所平滑，在边缘部分仍有模糊。

进而，本文通过结构相似指数（structural similarity index measure，SSIM）、峰值信噪比（peak signal to noise ratio，PSNR）和均方误差（mean square error，MSE）等指标，量化评价本文算法的效果。

式（9）～式（11）中，x和y分别为目标图像和重建图像，$ {C}_{1} $和$ {C}_{2} $为常数，$ {\mu }_{x} $和$ {\mu }_{y} $分别为x和y的均值，$ {\sigma }_{x}^{2} $和$ {\sigma }_{y}^{2} $分别为$ x $和$ y $的方差，$ {\sigma }_{xy} $为x和y的协方差，N为一幅图像中总的像素点个数，h和w分别为图像的长和宽，${\rm{m}}{\rm{a}}{\rm{x}}(x)$表示最大值算子，找出x中最大的像素值。

对于上述3个参数而言，SSIM值与PSNR值越大，表明重建图像细节恢复越好，目标图像与重建图像之间结构相似性越高，图像失真较小；MSE值越小，表明重建图像与目标图像之间像素值的偏差越小，重建图像质量较高。

为了验证本文算法的鲁棒性，我们对所有测试集进行了测试，并计算SSIM、PSNR和MSE三类评价指标的均值（表1）。在1号样本和2号样本以及所用样本的平均值中，本文算法相较于LI-NMAR和RED-CNN-MAR算法而言，校正性能有明显的提升。

表  1  多种算法的定量评价结果一览表

Table  1.  Quantitative evaluation results by multiple algorithms

指标	方法	1号样本	2号样本	平均值
SSIM	原始图像	0.877	0.861	0.854
	LI-NMAR	0.858	0.876	0.844
	RED-CNN-MAR	0.918	0.930	0.912
	$\widehat{{\boldsymbol{X}}}$	0.868	0.889	0.861
	本文算法	0.929	0.946	0.930
PSNR/dB	原始图像	22.308	21.698	22.985
	LI-NMAR	19.634	20.874	21.739
	RED-CNN-MAR	33.316	34.079	33.756
	$\widehat{{\boldsymbol{X}}}$	28.516	28.976	27.420
	本文算法	33.821	36.806	34.974
MSE	原始图像	6.498	7.442	6.811
	LI-NMAR	23.484	23.089	25.311
	RED-CNN-MAR	4.007	5.421	5.954
	$\widehat{{\boldsymbol{X}}}$	17.032	16.557	12.107
	本文算法	3.694	3.027	3.384

下载: 导出CSV 

| 显示表格

在所有测试集中，平均而言，与未经校正的原始图像相比，本文算法校正后其MSE减小了3.427，而PSNR和SSIM则分别提高了11.989 dB和0.076。较之于LI-NMAR和RED-CNN-MAR算法，本文算法的SSIM值分别提高了0.086和0.018，PSNR值提高了13.235 dB和1.218 dB，MSE也分别减小了21.927和2.570。可见，与LI-NMAR和RED-CNN-MAR算法相比较，双域自适应网络均取得了较高的SSIM、PSNR和较低的MSE。

3.   结论

含有大量高密度金属物质的岩矿样在进行CT扫描时会产生大量金属伪影，为基于CT图像的岩矿样参数计算带来严重干扰。针对这一问题，本文研究了一种基于双域自适应网络的岩矿样CT图像金属伪影校正算法（DDA-CNN-MAR），主要结论或成果：

（1）岩矿样CT图像包含有金属伪影的CT图像，能够通过含有投影域网络和图像域网络的双域自适应网络进行金属伪影的抑制，从而获得高质量的岩矿样CT图像。

（2）双域自适应网络结构，其实质是自适应调整投影域进行伪影抑制的权重和自适应调整图像域进行细节修复的权重，实现基于双域自适应网络的岩矿样CT图像金属伪影校正工作，此为进一步深入分析岩矿样的内部结构、孔隙度等参数奠定了基础。

致谢：感谢中国地质科学院矿产资源研究所提供了岩矿样样品。