Comparison of Chest Computed Tomography-based Severity Scoring Systems for Detecting Lung Involvement in Patients with Coronavirus Disease 2019
-
摘要: 目的：采用4种半定量测量方法评估新型冠状病毒感染患者的肺部病变负担，比较4种评估方法的诊断性能和观察者间的一致性，找出诊断时间最短、最精确的一种评估方法。方法：回顾性分析157例经鼻咽拭子标本进行实时逆转录聚合酶链反应确诊并住院治疗的新型冠状病毒感染患者，根据中国国家卫健委发布的《新型冠状病毒感染诊疗方案（试行第十版）》进行分型，中型87例，重症型66例，危重型4例。基于患者的胸部CT图像，两名放射科医生使用4种半定量评分系统独立评估肺部受累的严重程度，并记录每个评分系统所用的时间。采用组内相关系数（ICC）检验两名医生使用4种半定量评估方法的评估结果一致性。结果：重症组的D-二聚体、淋巴细胞百分比、淋巴细胞计数、乳酸脱氢酶和C反应蛋白与非重症组差异有统计学意义。4种半定量评估方法的评分结果显示，重症组的平均得分均高于非重症组。两名医师采用4种半定量评估方法的一致性均较差，4种方法的ICC均小于0.75，4种方法中T-SS法的平均用时最短。结论：基于视觉及主观经验的新型冠状病毒感染肺部病变严重程度半定量评估方法具有一定的局限性，未来开发基于人工智能且具有良好泛化性的定量评估模型具有重要临床应用价值。Abstract: Objective: This study aimed to evaluate the burden of lung involvement in patients with coronavirus disease 2019 (COVID-19) infection using four semi-quantitative measurement methods; compare the diagnostic performance of the four methods and consistency of results over time among observers; and find the fastest and most accurate evaluation method. Methods: Data of 157 patients with COVID-19 infection confirmed by real-time reverse transcription polymerase chain reaction (RT-PCR) using nasopharyngeal swab samples and hospitalized were retrospectively analyzed. According to the "Diagnosis and Treatment Plan for COVID-19 Infection (Tenth Edition)" issued by the China's National Health Commission, 87 patients were classified as medium type, 66 as severe, and 4 as critical. Based on the patients' chest CT images, two radiologists independently evaluated the severity of lung involvement using four semi-quantitative scoring systems and recorded the time taken by each scoring system. The intra-group correlation coefficient (ICC) was used to test the evaluation results consistency between the two radiologists using four semi-quantitative evaluation methods. Result: There were statistically significant differences in D-dimer, lymphocyte percentage, lymphocyte count, lactate dehydrogenase, and C-reactive protein between the severe and non-severe groups. The scoring results of the four semi-quantitative evaluation methods showed that the average score in the severe group was higher than that in the non-severe one. The consistency of the four semi-quantitative evaluation methods used by the two radiologists was poor, of which the ICC of the four methods was less than 0.75. The total severity score (T-SS) method showed the shortest average time. Conclusion: The semi-quantitative assessment method for detecting severity of pulmonary lesions in patients infected with COVID-19 based on vision and subjective experience has some limitations. The development of a quantitative assessment model based on artificial intelligence with good generalization in the future has important clinical application value.
-
Keywords:
- computed tomography /
- coronavirus disease 2019 /
- scoring system
-
计算机断层成像（computed tomography，CT）是一种基于低维投影数据重建高维目标图像的技术，被广泛应用于医疗诊断 [1]。X射线剂量过高会对人体造成危害，常用的方法是降低每个投影角度下的辐射剂量来获取低剂量的CT图像，减小辐射造成的危害。这会导致重建出来的图像含有大量噪声，图像质量降低，影响后续的诊断。因此，低剂量CT图像去噪在医疗方向有着重要意义。
现有的图像去噪方法主要有传统重建算法和基于深度学习的方法。传统的重建方法主包含解析重建算法和迭代重建算法[2-7]。近年来，随着深度学习方法自动化、高效性和高精度等特点[8-10]，一些深度神经网络被用于低剂量CT图像去噪任务。
基于卷积神经网络（convolutional neural networks，CNN）的深度学习方法利用卷积运算增强了对局部特征的提取能力，使用权值共享的方式大大减少了模型的参数，提高模型的泛化能力，从而被人们广泛地应用于图像去噪。2016年，Zhang等[11]提出DNCNN网络（beyond a gaussian denoiser：residual learning of deep CNN for image denoising，DNCNN），该网络采用深度残差学习框架，通过堆叠卷积层、批归一化和ReLU激活函数的方式构建。2017年，Chen等[12]提出了RED-CNN网络（residual encoder-decoder convolutional neural network，RED-CNN），采用残差网络与对称的编码器和解码器架相结合的方式提取和重建特征，通过引入跳跃连接很好地保留了关键特征信息。2018年，Guo等[13]提出了CBDNet网络结构（toward convolutional blind denoising of real photographs，CBDNet），该网络由一个噪声估计子网络和一个去噪子网络组成，通过这种双分支设计，网络可以自适应估计出噪声的统计特性，从而更有效地进行去噪处理。2020年，Zhao等[14]提出了PRIDNet网络（pyramid real image denoising network，PRIDNet），通过整合金字塔结构的多尺度特征提取和融合技术，以有效捕获和还原多尺度的图像信息，实现低分辨率到高分辨率的噪声去除。2022年，Chen等提出了NAFNet网络（simple baselines for image restoration，NAFNet），该网络提出代替传统的非线性激活函数，在图像去噪方面取得了显著的效果[15]。
基于卷积神经网络的深度学习方法在去噪方面虽然表现出优异的性能，但是缺乏对远程特征相关性的建模能力[16]。而Transformer能够利用其注意力机制捕获远程像素间的强弱语义关系，实现上下文信息的全局交互，弥补了CNN在特征映射能力上的不足[17-21]。2017年，Google团队首次提出了Transformer网络，网络首次提出了自注意力机制，使得模型能够在全局范围内关注信息，而非仅依赖于局部上下文信息，丰富了深度学习模型的设计思路[22]。2020年，Google团队提出了ViT模型（an image is worth 16×16 words：Transformers for image recognition at scale，ViT），它首次将Transformer架构引入到视觉领域，提出将输入图像划分为固定大小的图像块并输入到Transformer模型中，并利用位置编码来补充输入数据，使Transformer模型能够有效处理图像信息[23]。2021年，Liu等[24]提出了Swin Transformer网络（hierarchical vision transformer using shifted windows，Swin Transformer），提出了一种层次化的架构设计，引入了局部窗口自注意力机制，模型通过在局部窗口内计算自注意力来减少计算复杂度，并采用窗口移位策略增强了模型对全局信息的捕获能力。2021年，Wang等[25]提出了Uformer网络（a general u-shaped transformer for image restoration，Uformer），该网络引入了一种基于UNet的全新框架，结合了UNet与Transformer的特征，通过有效整合局部特征和全局上下文信息，在图像去噪任务上有良好的效果。2022年，Syed等[26]提出了Restormer（efficient transformer for high-resolution image restoration，Restormer），网络使用多头转置注意力聚合局部和非局部像素的交互，并采用一种新的双路门控网路作为前馈层处理特征信息，在图像去噪任务上取得了不错的表现。
Restormer利用多头注意力机制能够有效捕获全局上下文信息[27-30]，但对局部特征信息建模的能力不足。同时，对于不同编码器和解码器之间，Restormer仅使用跳跃连接，这限制了模型跨层特征的协同建模能力，难以充分融合不同层次之间的特征信息。针对上述问题，本文提出一种基于多注意力融合和特征融合机制的增强Restormer网络（enhanced restormer for low-dose CT image reconstruction based on multi-attention fusion，ERestormer），提升模型对图像特征信息的提取能力且增强了多尺度特征的融合效果。综上所述，本文的主要贡献如下：
（1）设计一个多注意力融合模块。该模块通过混合多种注意力机制的方式增强模型对全局特征信息的捕获能力和对局部特征信息的关联能力。
（2）设计一个特征融合模块。通过融合编解码器不同尺度的特征信息，从而增强网络恢复高分辨率细节信息的能力。
（3）实验结果表明与五种经典的深度学习网络相比，本文提出的网络模型在低剂量CT图像去噪任务上取得了最优的效果。
1. 方法
如图1所示，本文设计一个编码器-解码器层次结构的U型网络结构，该网络结构分为特征提取和特征融合两个阶段。给定退化图像
$ I\in {\mathbb{R}}^{H\times W\times 1} $ ，网络首先应用$ 3\times 3 $ 卷积来获得浅层特征$ {F}_{0}={\mathbb{R}}^{H\times W\times C} $ ，其中$ H\times W $ 表示空间维度，$ C $ 表示通道数。然后将这些浅层特征$ {F}_{0} $ 输入到编码器中进行编码处理。通过对每层编码器的输出特征图进行下采样操作得到深层特征$ {F}_{1}\in {\mathbb{R}}^{\textstyle\frac{H}{8}\times \frac{W}{8}\times 8 C} $ 。深层特征通过进一步提取高级语义信息得到特征图$ {F}_{2}\in {\mathbb{R}}^{\textstyle\frac{H}{8}\times \frac{W}{8}\times 8 C} $ 。解码器将低分辨率的特征$ {F}_{2} $ 作为输入，通过上采样操作逐步恢复图像信息。为此，编码器特征通过跳跃连接与解码器特征级联，级联操作之后是$ 1\times 1 $ 卷积，用来减少级联之后的通道数。其中，网络在第3层的跳跃连接处添加特征融合模块，先对编码器与瓶颈层的特征图进行融合处理，再将融合结果与解码器特征图进行拼接。通过编码器-解码器的处理，网络得到细化后的特征$ {F}_{3}\in {\mathbb{R}}^{H\times W\times \text{2 C}} $ 。最后，对细化后的特征进行$ 3\times 3 $ 卷积处理，得到残差图像$ R\in {\mathbb{R}}^{H\times W\times 1} $ ，并将其与退化图像相加，得到复原图像${I}=\text{I+R} $ 。1.1 多注意力融合模块
Restormer使用多头转置注意力（multi-dconv head transposed attention，MDTA）捕获远距离像素间的相互作用，但是其使用的点积注意力主要建模通道之间的全局依赖关系，缺乏对图像的空间位置依赖，不能对细粒度噪声进行有效地处理。并且，多头转置注意力缺乏对特征图细粒度局部特征的捕获能力。为了增强网络对局部特征信息的关联能力和对全局特征信息的捕获能力，本文设计了一个多注意力融合模块（multi-attention fusion block，MAB），网络结构如图2所示。该模块由基于通道注意力的卷积块（channel attention block，CAB）、感受野注意力（receptive field attention，RFA）与多头转置注意力相互并行构成新的多注意力机制。混合注意力模块主要由层归一化、混合注意力和前馈层组成。计算公式如式（1）~式（3）所示。
$$ {X}_{1}=\text{LN}\left(X\right) \text{，} $$ (1) $$ {X}_{2}=\text{CAB}\left({X}_{1}\right)\text{+MDTA}\left({X}_{1}\right)\text{+RFA}\left({X}_{1}\right)\text+{\text{X}}_{1} \text{，} $$ (2) $$ {X}_{3}=\text{GDFN}\Big(\text{LN}\left({X}_{2}\right)\Big)\text+{\text{X}}_{2} 。 $$ (3) 1.1.1 通道注意力模块
在低剂量CT图像去噪任务中，图像的不同通道中通常包含了不同类型的特征，例如纹理、边缘和全局上下文信息，而噪声可能随机分布在所有通道中。本文应用通道注意力来动态分配权重信息，从而突出重要的通道特征，同时抑制无关的通道信息，在去除噪声的同时能够保留更多有意义的细节信息，增强网络模型对图像恢复的能力。
通道注意力模块的网络结构图如下图3（a）所示[31]。CAB由两个标准卷积层组成，具有GELU激活层和通道注意（CA）模块。因为基于Transformer的结构通道需要高维通道来完成特征编码的操作，所以使用不改变通道数的卷积会产生很大的计算成本。因此通过常数r来压缩两个卷积层的通道数。对于具有C个通道的输入特征，在经过第一层卷积层之后的输出特征的通道数被压缩到
$ \text{C/r} $ ，然后特征通过第二层卷积层被恢复到原来的C个通道，其中常数r设置为16。接下来，利用标准的CA模块自适应地重新缩放通道特征。计算公式如式（4）~（5）所示。![]()
图 3 通道注意力和感受野注意力网络结构图Figure 3. Network structure diagram of channel attention and receptive field attention$$ {X}_{1}=\text{Con}{\text{v}}_{3\times 3}\bigg(\text{GELU}\Big(\text{Con}{\text{v}}_{3\times 3}\left(X\right)\Big)\bigg) \text{，} $$ (4) $$ {X}_{2}=\sigma \left(\text{AvgPool}\Bigg(\text{Con}{\text{v}}_{3\times 3}\bigg(\text{GELU}\Big(\text{Con}{\text{v}}_{3\times 3}\left({X}_{1}\right)\Big)\bigg)\Bigg)^{\,}\right)+{X}_{1} 。 $$ (5) 其中，
$ \sigma $ 为Sigmoid激活函数。1.1.2 感受野注意力模块
虽然多头注意力机制擅长建模全局关系，但是对局部细节特征的捕获能力相对较弱。然而低剂量CT图像去噪任务通常需要同时关注全局结构和局部细节信息。为了增强网络模型对局部特征的建模能力，提升网络对细节纹理信息的捕获能力，我们在多注意力融合模块中加入了感受野注意力[32]。感受野注意力通过结合深度卷积、通道注意力机制和空间注意力机制，增强局部感受野和动态加权特征来提升模型对不同位置特征信息的捕获能力，从而弥补多头注意力机制在细节建模上的不足。
感受野注意力的网络结构如下图3（b）所示。感受野注意力模块首先将特征图通过深度卷积生成多尺度的特征图，将这些特征图调整为固定形状后与SE模块的输出逐元素相乘，增强对重要通道的关注；同时，将调整为固定形状的特征图进行最大池化和平均池化提取特征的空间位置信息，将它们进行拼接后输入到一个卷积核大小为
$ 3\times 3 $ 的卷积层生成感受野注意力权重；最后感受野注意力权重用于加权生成特征图，实现对重要特征的增强和不相关区域的抑制，并通过最后的$ 3\times 3 $ 卷积层生成输出特征。计算公式如式（6）~式（8）所示。$$ {X}_{1}=\text{SE}\left({X}_{0}\right)\times \text{DSCon}{\text{v}}_{3\times 3}\left({X}_{0}\right) \text{，} $$ (6) $$ {X}_{2}=\sigma \Bigg(\text{Con}{\text{v}}_{3\times 3}\bigg[\Big(\text{AvgPool}\left({X}_{0}\right);\text{MaxPool}\left({X}_{0}\right)\Big)\bigg]\Bigg) \text{，} $$ (7) $$ {X}_{3}=\text{Con}{\text{v}}_{3\times 3}\left({X}_{1}\times {X}_{2}\right) 。 $$ (8) 1.2 特征融合模块
因为不同层次的特征具有不同的感受野和细节信息，其中低层次特征包含更多的局部信息，而高层次特征更具有语义信息。在Restormer中，编解码器之间仅使用简单的跳跃连接来融合特征信息，这种方式会损失很多特征细节信息，不能使编码器特征与解码器特征进行有效地融合。为了结合这些不同层次的特征，提升模型对特征的融合能力，本文设计了一个特征融合模块（Feature Fusion Module，FFM）添加在跳跃连接处来帮助解码器恢复高分辨率细节信息[33]。特征融合模块通过结合局部注意力和全局注意力机制，动态平衡编码器和解码器的特征融合，通过关注特征间的相关性和重要性来增强特征表达能力，缓解网络模型中的信息流失问题。特征融合模块的网络结构如下图4所示。
给定编码器和解码器的输入特征图为
$ x' $ 和$ x'' $ ，局部注意力中使用两层卷积、批归一化层和LeakyReLU激活函数对输入特征图$ x' $ 提取局部特征，保留了输入特征图的局部信息。而全局注意力使用全局平均池化将输入特征图$ x'' $ 压缩到$ 1\times 1 $ 大小，提取全局信息，然后通过两层卷积、批归一化层和LeakyReLU激活函数重构全局信息。将通过局部和全局注意力得到的输出特征图相加并输入Sigmoid函数，生成注意力权重并与特征图$ x' $ 和$ x'' $ 进行加权融合，得到更新后的特征。第二次注意力计算与第一次类似，通过对加权融合后的特征图再次进行特征的提取和融合，以进一步地优化特征表示。特征融合模块通过局部和全局注意力提取特征的局部和全局信息，使特征融合得更加充分。并且通过注意力机制动态生成权重信息，有效抑制了不重要的特征区域，突出了对网络有利的特征区域。计算公式如式（9）~式（13）所示。$$ x=x'+x'' \text{，} $$ (9) $$ {F}_{1}=\text{Con}{\text{v}}_{3\times 3}\Bigg(\text{LeakyReLU}\bigg(\text{BN}\Big(\text{Con}{\text{v}}_{3\times 3}\left(x\right)\Big)\bigg)\Bigg) \text{，} $$ (10) $$ {F}_{2}=\text{Con}{\text{v}}_{3\times 3}\left(\text{LeakyReLU}\Bigg(\text{BN}\bigg(\text{Con}{\text{v}}_{3\times 3}\Big(\text{GAP}\left(x\right)\Big)\bigg)\Bigg)\right) \text{，} $$ (11) $$ {F}_{3}={F}_{1}+{F}_{2} \text{，} $$ (12) $$ {F}_{4}=x'\times \text{Sigmoid}\left({F}_{3}\right)+x''\times \Big(1-\text{Sigmoid}\left({F}_{3}\right)\Big) 。 $$ (13) 2. 实验
2.1 数据集的构建
为了衡量所构建的网络的有效性，我们选择了来自癌症成像档案馆（TCIA）的AAPM Mayo诊所在2016年更新后的低剂量CT挑战大赛的数据集。该数据集是从140例患者中收集的3种CT扫描类型，分别包括腹部、肺部和头部的CT图像，收集自48，49和42例患者。每个患者的数据包括1/4剂量CT图像和相应的正常剂量CT图像。
本文从该数据集中选取了
5000 对数据，图像的大小为$ 256\times 256 $ ，其中80%作为训练集，10%作为验证集，10%作为测试集。2.2 超参数的设定
运行该实验所使用的CPU为Montage Jintide(R) C08101 2.10 GHz，GPU为NVIDIA Geforce GTX
3090 ，实验在Windows10操作系统下使用Python语言Pytorch深度学习框架进行训练。初始学习率为$ 3\times 1{0}^{-4} $ ，训练过程中的batchsize为4，训练轮数为120。损失函数设置为Charbonnier损失函数。2.3 图像质量评估指标
本文使用峰值信噪比（PSNR）、结构相似性（SSIM）、均方根误差（RMSE）这3种图像质量评估指标来评价网络的性能。PSNR是一中常见的衡量图像质量的方法，通过峰值信号的差异来反映图像质量；SSIM通过比较两个图像的结构相似性来评估图像质量；RMSE是一种基于像素误差的图像质量客观评价指标，用于衡量融合图像和理想参考图像之间的差异。计算公式如式（14）~式（16）所示：
$$ \text{PSNR}=10\times log{}_{10}\left(\frac{\text{Ma}{\text{x}}^{2}}{\text{RMSE}}\right) \text{，} $$ (14) $$ \text{SSIM}\left(\text{x,y}\right)=\frac{\left(\text{2}{\text{μ}}_{x}{\mu }_{y}\text+{\text{C}}_{1}\right)\left(\text{2}{\text{σ}}_{\text{xy}}\text+{\text{C}}_{2}\right)}{\left({\mu }_{x}^{2}\text+{\text{μ}}_{y}^{2}\text+{\text{C}}_{1}\right)\left({\sigma }_{x}^{2}\text+{\text{σ}}_{y}^{2}\text+{\text{C}}_{2}\right)} \text{，} $$ (15) $$ \text{RMSE=}\sqrt{\frac{\displaystyle\sum _{\text{i=1}}^{N}\displaystyle\sum _{\text{j=1}}^{N}{\left({x}_{\text{i,j}}-{\text{y}}_{\text{i,j}}\right)}^{2}}{{N}^{2}}} \text{，} $$ (16) 其中，Max表示为图像的最大灰度值，x表示为低剂量CT图像，y表示为高质量图像；
$ {\mu }_{x} $ 表示为x的均值，$ {\mu }_{y} $ 表示为y的均值，$ {\sigma }_{x}^{2} $ 表示为x的方差，$ {\sigma }_{y}^{2} $ 表示为y的方差，$ {\sigma }_{xy} $ 表示为x和y的协方差；C1，C2为常数。2.4 实验结果分析
2.4.1 多种方法的低剂量CT图像重建结果比较
为了评估本文方法在低剂量CT图像重建中的性能，实验采取了五种经典的深度学习神经网络DNCNN，RED-CNN，UNet，Uformer和Restormer与ERestormer进行比较，并采用PSNR、SSIM、RMSE作为评价指标来定量评估不同网络在低剂量CT图像重建中的性能。
从测试集中随机挑选一张肺部CT图像用来展示不同算法的实验结果。如图5和图6所示，对于肺部CT图像的恢复，我们的网络模型展示出来的效果最佳。其中，DNCNN重建图像存在的噪声较为明显；RED-CNN重建图像仍存在能用肉眼观察到的噪声；UNet重建图像存在的噪声有所缓和，但是其部分图像细节并不能完整的恢复；Uformer和Restormer重建图像不存在能够用肉眼观察到的噪声，并且能够恢复部分局部组织的细节信息；ERestormer重建出来的图像噪声表现得更好，细节信息恢复得更多，在上述网络中达到了最好的效果。
![]()
图 5 低剂量肺部CT图像去噪结果图；显示窗口为[0, 1]Figure 5. Denoising results of low-dose lung CT images; the display window is [0, 1].![]()
图 6 低剂量肺部CT图像去噪结果局部放大图；显示窗口为[0, 1]Figure 6. Local magnification of denoising results of low-dose lung CT images; the display window is [0, 1].由下表1中的数据可知，本文所提出的网络模型在PSNR、SSIM和RMSE指标上都优于其他的五种模型，其中，ERestormer的PSNR比Uformer和Restormer分别高出
0.3725 dB和0.3003 dB，SSIM分别高出0.0028 和0.0026 ，RMSE分别降低了0.0007 和0.0006 。上述数据表明了该模型可以在有效去除图像噪声的同时保留图像更多的细节信息。表 1 6种网络的低剂量CT图像重建实验结果Table 1. Results of low-dose CT image reconstruction experiments of six types of networks算法 PSNR SSIM RMSE DNCNN 32.1194 0.8776 0.0268 RED-CNN 33.9776 0.8850 0.2226 UNet 34.7074 0.8935 0.0209 Uformer 34.9080 0.8961 0.0203 Restormer 34.9352 0.8963 0.0202 ERestormer 35.2355 0.8989 0.0196 2.4.2 消融实验
为了进一步探索ERestormer网络中不同模块对低剂量CT图像重建的影响，我们进行了相关的消融实验：①无通道注意力，②无感受野注意力，③无通道注意力和感受野注意力，④无特征融合。如下图7，无感受野注意力与无通道注意力和感受野注意力的低剂量CT肺部图像比较模糊，缺少大量细节信息。无通道注意力和无特征融合的低剂量CT肺部图像较为清晰，但是损失少量细节信息。详细信息如图7和图8所示。
![]()
图 7 低剂量肺部CT图像去噪结果图；显示窗口为[0, 1]Figure 7. Denoising results of low-dose lung CT images; the display window is [0, 1]![]()
图 8 低剂量肺部CT图像去噪结果局部放大图；显示窗口为[0, 1]Figure 8. Local magnification of denoising results of low-dose lung CT image; the display window is [0, 1]我们采用PSNR、SSIM、RMSE作为评价指标，评价不同模块对低剂量CT图像重建的影响。由表2的数据所显示，感受野注意力对网络的影响是最大的，特征融合模块其次，通道注意力对网络的影响是最小的。但是这三者对网络的去噪性能都起到了关键的作用。
表 2 消融实验结果Table 2. Results of ablation experiment消融实验 PSNR SSIM RMSE ERestormer 35.2355 0.8989 0.0196 no rfa+cab 34.9771 0.8974 0.0199 no ffm 35.1789 0.8984 0.0196 no rfa 35.1312 0.8981 0.0197 no cab 35.2045 0.8988 0.0196 3. 讨论
特征融合模块通过两次注意力计算，逐步提炼并融合特征，丰富特征的表达能力并增强模型的去噪性能。因此，为了确定该模块在网络中的作用机制，我们对其在网络中的最佳部署位置和具体结构进行讨论。目前有两种具体的方案：第1种方法是在跳跃连接处逐层添加特征融合模块，第2种方法是在每一层的跳跃连接处分别单独添加特征融合模块。
3.1 特征融合模块逐层添加在跳跃连接处
在ERestormer网络中，随着编码器-解码器层数的降低，输入的特征图尺寸会依次减小，但是特征图中所包含的全局信息会变得更加高级。为了更好地利用这些全局信息，本文采用自下而上地方式逐层添加特征融合模块。ERestormer3-2-1代表特征融合模块加在第3层、第2层和第1层跳跃连接处。ERestormer3-2代表特征融合模块添加在第3层和第2层跳跃连接处。ERestormer3代表特征融合模块添加在第3层跳跃连接处。从测试集中随机挑选一张腹部CT图像用来展示特征融合模块在逐层级的跳跃连接处的实验结果。如下图所示，将特征融合模块添加在网络的第3层跳跃连接处能够获得最佳的性能，详细信息如下图9和图10所示。
![]()
图 9 低剂量腹部CT图像去噪结果图；显示窗口为[0, 1]Figure 9. Denoising results of low-dose abdominal CT images; the display window is [0, 1]![]()
图 10 低剂量腹部CT图像去噪结果局部放大图；显示窗口为[0, 1]Figure 10. Local magnification of denoising results of low-dose abdominal CT images; the display window is [0, 1]我们采用PSNR、SSIM、RMSE作为评价指标，对特征融合模块逐层添加在跳跃连接处的低剂量CT图像的重建质量进行定量评估。根据表3中的数据所展示，将特征融合模块添加在第3层跳跃连接处能够使得网络模型的性最优。
表 3 特征融合模块逐层增加的定量结果比较Table 3. Comparison of quantitative results of layer-by-layer addition of feature fusion modules特征融合模块的位置 PSNR SSIM RMSE ERestormer3 35.2355 0.8989 0.0196 ERestormer3-2 35.2267 0.8986 0.0196 ERestormer3-2-1 35.2033 0.8985 0.0197 3.2 特征融合模块单独添加在跳跃连接处
本文将特征融合模块按照从下到上的顺序添加到网络的跳跃连接处。ERestormer3、ERestormer2和ERestormer1分别表示跳跃连接模块在第3层、第2层和第1层跳跃连接处。如图11所示，特征融合模块单独添加在网络的第3层跳跃连接处能够使得网络达到最好的性能。详细信息如图12所示。
![]()
图 11 低剂量肺部CT图像去噪结果图；显示窗口为[0, 1]Figure 11. Denoising results of low-dose lung CT images; the display window is [0, 1]![]()
图 12 低剂量肺部CT图像去噪结果局部放大图；显示窗口为[0, 1]Figure 12. Local magnification of de-noising results of low-dose lung CT images; the display window is [0, 1]我们采用PSNR、SSIM、RMSE作为评价指标，对特征融合模块单独添加在跳跃连接处的低剂量CT图像的重建质量进行定量评估。根据表4中的数据所展示，将特征融合模块单独添加在第3层跳跃连接处能够使得网络模型的性能最优。
表 4 特征融合模块各层中的定量结果比较Table 4. Comparison of quantitative results in each layer of feature fusion module特征融合模块的位置 PSNR SSIM RMSE ERestormer3 35.2355 0.8989 0.0196 ERestormer2 35.1868 0.8982 0.0197 ERestormer1 35.1377 0.8977 0.0197 综上所述，将特征融合模块单独地添加在跳跃连接第3层可以显著优化网络的整体性能，使网络模型在低剂量CT图像去噪任务中实现最佳效果，显著提高模型的图像重建质量。
4. 结语
本文针对低剂量CT图像去噪问题，提出一种基于多注意力融合的增强Restormer网络，该网络结合通道注意力和感受野注意力，增强了特征表示能力与精确捕捉空间特征信息能力。通过特征融合模块整合编码器和解码器之间的多尺度特征，充分融合了图像恢复所需的细节信息和整体结构特征，从而显著提升了去噪性能。实验证明，与DNCNN、RED-CNN、UNet、Uformer和Restormer五种经典网络相比，ERestormer在有效去噪的同时能够更好地保留图像的细节信息。
-
![]()
图 1 中型COVID-19患者胸部CT图
患者男，51岁，中型COVID-19。（a）上肺层面可见两肺外带散在条索状及小片状实变影和磨玻璃密度影；（b）下肺层面肺内病灶显著增多；（c）冠状面MPR重组显示病灶分布以双下肺为主。
Figure 1. Chest CT images in a patient with mild COVID-19 infection
![]()
图 2 重型COVID-19患者胸部CT图
患者男，60岁，重型COVID-19。（a）和（b）两肺可见大片状实变影和磨玻璃密度影，以外带分布为主；（c）冠状面MPR重组显示病灶在上肺及下肺均有分布。
Figure 2. Chest CT images in a patient with severe COVID-19 infection
表 1 COVID-19患者一般临床资料
Table 1 Clinical information of patients with COVID-19 infection
临床指标 组别 P 重症组（70例） 非重症组（87例） 年龄/岁（$M(Q_1,Q_3)$） 71.5（61.50，79.25） 67.5（61.75，79.25） 0.622 性别/（男，例（％）） 42（60.0） 51（58.6） 0.168 指脉氧饱和度/％ 89.81±16.77 93.3±8.91 0.214 D-二聚体/（ng/mL） 1508.12±2351.81 430.90±440.32 0.002 降钙素原/（ng/mL） 0.65±1.96 0.22±0.41 0.118 淋巴细胞百分比/％ 13.04±9.51 21.12±11.75 0.008 淋巴细胞计数/（×109/L） 0.91±0.60 1.38±0.69 0.009 乳酸脱氢酶/（IU/L） 285.96±92.58 197.08±53.19 0.001 C反应蛋白/（mg/L） 46.97±57.04 14.16±22.89 0.014 血沉/（mm/h） 41.05±17.26 32.83±21.62 0.248 住院天数 11.12±4.36 9.96±3.05 0.140 合并基础病/例（％） 56（80.0） 48（55.2） 0.024 注：基础病包括糖尿病、高血压、冠心病、慢性阻塞性肺疾病及慢性肾病。 
下载: 导出CSV
表 2 四种半定量评估方法的组内一致性分析及用时比较
Table 2 The intra-group correlation coefficient (ICC) and time comparison of four semi-quantitative evaluation methods
评估项目 CCT-SS CCT-S T-SS CT-SS-3 L 两名医师平均得分 重症组 32 21 18 74 非重症组 18 14 13 45 评分平均用时/s 医师1 32 29 21 36 医师2 40 33 21 45 ICC 0.38 0.36 0.58 0.2
下载: 导出CSV
-
[1] LI K, FANG Y, LI W, et al. CT image visual quantitative evaluation and clinical classification of coronavirus disease (COVID-19)[J]. European Radiology, 2020, 30(8): 4407−4416. doi: 10.1007/s00330-020-06817-6
[2] SALAFFI F, CAROTTI M, TARDELLA M, et al. The role of a chest computed tomography severity score in coronavirus disease 2019 pneumonia[J]. Medicine (Baltimore), 2020, 99(42): e22433. doi: 10.1097/MD.0000000000022433
[3] LI K, WU J, WU F, et al. The clinical and chest CT features associated with severe and critical COVID-19 pneumonia[J]. Investigative Radiology, 2020, 55(6): 327−331. doi: 10.1097/RLI.0000000000000672
[4] YANG R, LI X, LIU H, et al. Chest CT severity score: An imaging tool for assessing severe COVID-19[J]. Radiology Cardiothoracic Imaging, 2020, 2(2): e200047. doi: 10.1148/ryct.2020200047
[5] FRANCONE M, IAFRATE F, MASCI G M, et al. Chest CT score in COVID-19 patients: Correlation with disease severity and short-term prognosis[J]. European Radiology, 2020, 30(12): 6808−6817. doi: 10.1007/s00330-020-07033-y
[6] WASILEWSKI P G, MRUK B, MAZUR S, et al. COVID-19 severity scoring systems in radiological imaging: A review[J]. Polish Journal of Radiology, 2020, 85(7): e361−e368.
[7] 吕琳, 曹霞, 刘淼淼, 等. 71 例新型冠状病毒肺炎死亡病例的临床特征[J]. 武汉大学学报(医学版), 2022,43(6): 885−890. LV L, CAO, X, LIU, M M, et al. Clinical characteristics of 71 death cases of COVID-19[J]. Medical Journal of Wuhan University, 2022, 43(6): 885−890. (in Chinese).
[8] 白欢, 沈玲, 陈星, 等. PT、DD和PLT在新型冠状病毒肺炎重症患者预后评估及基于SIC积分系统指导抗凝治疗的价值研究[J]. 中华检验医学杂志, 2020, 43(12): 1205-1211. BAI H, SHEN L, CHEN X, et al. The prognosis value of PT, DD and PLT and validation of the efficacy of the SIC score on initiating anticoagulant therapy in severe COVID-19 patients[J]. Chinese Journal of Laboratory Medicine, 2020, 43(12): 1205-1211. (in Chinese).
[9] 卢秀兰, 孙建军, 张冬梅. 降钙素原和C反应蛋白在新型冠状病毒肺炎中的表达及其对预后评估价值[J]. 安徽医药, 2022, 26(10): 1989-1992. LU X L, SUN J J, ZHANG D M. Expressions of procalcitonin and C-reactive protein in the serum of patients with COVID-19 and its prognostic value[J]. Anhui Medical and Pharmaceutical Journal, 2022, 26(10): 1989-1992. (in Chinese).
[10] 张炜宗, 袁红, 孙金栋, 等. 新型冠状病毒感染患者院内死亡危险因素的Meta分析[J]. 中国全科医学, 2023,26(5): 607−620. ZHANG W Z, YUAN H, SUN J D, et al. Risk factors of in-hospital death in COVID-19 patients: A Meta-analysis[J]. Chinese General Practice, 2023, 26(5): 607−620. (in Chinese).
[11] 苏文豪, 张吉翔, 熊秋, 等. 新型冠状病毒无症状感染者的临床特征分析[J]. 中华传染病杂志, 2020,38(12): 772−776. doi: 10.3760/cma.j.cn311365-20200319-00356 SU W H, ZHANG J X, XIONG Q, et al. Analysis of clinical characteristics of asymptomatic carriers with 2019 novel coronaviru[J]. Chinese Infectious Diseases, 2020, 38(12): 772−776. (in Chinese). doi: 10.3760/cma.j.cn311365-20200319-00356
[12] HINO T, HIDA T, NISHINO M, et al. Progression of traction bronchiectasis/bronchiolectasis in interstitial lung abnormalities is associated with increased all-cause mortality: Age gene/environment susceptibility-reykjavik study[J]. European Journal Radiology, 2021, 8: 100334. doi: 10.1016/j.ejro.2021.100334
[13] REA G, de MARTINO M, CAPACCIO A, et al. Comparative analysis of density histograms and visual scores in incremental and volumetric high-resolution computed tomography of the chest in idiopathic pulmonary fibrosis patients[J]. Radiology Medicine, 2021, 126(4): 599−607. doi: 10.1007/s11547-020-01307-7
[14] MARTINI K, BAESSLER B, BOGOWICZ M, et al. Applicability of radiomics in interstitial lung disease associated with systemic sclerosis: Proof of concept[J]. European Radiology, 2021, 31(4): 1987−1998. doi: 10.1007/s00330-020-07293-8
[15] JAKHOTIA Y, MITRA K, ONKAR P, et al. Interobserver variability in CT severity scoring system in COVID-19 positive patients[J]. Cureus, 2022, 14(10): e30193.
[16] ELMOKADEM A H, MOUNIR A M, RAMADAN Z A, et al. Comparison of chest CT severity scoring systems for COVID-19[J]. European Radiology, 2022, 32(5): 3501−3512. doi: 10.1007/s00330-021-08432-5
[17] INOUE A, TAKAHASHI H, IBE T, et al. Comparison of semiquantitative chest CT scoring systems to estimate severity in coronavirus disease 2019 (COVID-19) pneumonia[J]. European Radiology, 2022, 32(5): 3513−3524. doi: 10.1007/s00330-021-08435-2
[18] GUAN X, YAO L, TAN Y, et al. Quantitative and semi‑quantitative CT assessments of lung lesion burden in COVID-19 pneumonia[J]. Scientific Reports, 2021, 11: 5148. doi: 10.1038/s41598-021-84561-7
[19] TOPFF L, GROOT LIPMAN K B W, GUFFENS F, et al. Is the generalizability of a developed artificial intelligence algorithm for COVID-19 on chest CT sufficient for clinical use? Results from the International Consortium for COVID-19 Imaging AI (ICOVAI)[J]. European Radiology, 2023, 18: 1-10.
计量
- 文章访问数: 238
- HTML全文浏览量: 141
- PDF下载量: 23
