Low-dose CT Denoising Based on Subspace Projection and Edge Enhancement
-
摘要: 低剂量计算机断层扫描(CT)是一种相对安全的疾病筛查手段,但低剂量CT图像往往包含较多噪声和伪影,严重影响医生的诊断。针对该问题,本文提出一种基于子空间投影和边缘增强网络(SPEENet)。SPEENet为自编码器结构,包含双流编码器和解码器两个主要模块。双流编码器可以被分为噪声图像编码流及边缘信息编码流两部分,噪声图像编码流对低剂量CT图像进行特征提取,利用图像特征去除低剂量CT中的噪声和伪影;边缘信息编码流部分主要关注低剂量CT图像的边缘信息,利用边缘信息保护图像结构。为充分利用编码器特征,本文引入噪声基投影模块,构建基于编码器和解码器特征的基,并利用该基将编码器提取的特征投影到对应的子空间,获取更好的特征表示。本文在公开数据集上进行实验以验证提出网络的有效性,实验结果表明,相较于其他低剂量CT去噪网络,SPEENet可以取得更好的去噪效果。Abstract: Low-dose computed tomography (CT) is a relatively safe method for disease screening. But low-dose CT images often contain severe noise and artifacts, which seriously affect the subsequent diagnosis. To solve this problem, this paper proposes a subspace projection and edge enhancement network (SPEENet). SPEENet hold an architecture of autoencoder, including two main modules: dual stream encoder and decoder. The dual stream encoder can be divided into two parts: noise image coding stream and edge information coding stream. The noise image coding stream removes the noise and artifacts in low-dose CT images by using the image features extracted from the low-dose CT images. The edge information coding stream mainly focuses on the edge information of low-dose CT images and fully utilize the edge information to preserve the structures. In order to make full use of the encoder features, this paper introduces the noise basis projection module to establish a basis based on the features of encoder and decoder, and uses this basis to project the features extracted by the encoder into the corresponding subspace to obtain better feature representation. In this paper, experiments are conducted on the public database to verify the effectiveness. The experimental results show that SPEENet can achieve better denoising performance than other low-dose CT denoising networks.
-
Keywords:
- deep learning /
- autoencoder /
- low-dose CT /
- subspace projection /
- edge information
-
计算机断层成像(computed tomography,CT)技术可以非入侵式地获取人体解剖信息,是当前主要的临床诊断方式之一。然而CT扫描过程中产生的X射线辐射会对人体产生危害,为减少对人体的潜在危害,低剂量CT成像技术一直是放射诊断领域的研究热点。通过改变CT扫描时的硬件参数可以有效降低患者接收到的辐射剂量,但是使用传统解析算法重建得到的低剂量CT图像往往包含严重的噪声及伪影,严重影响医生诊断。对低剂量CT图像进行去噪可以在降低患者所受辐射剂量的同时,有效帮助医生观察解剖结构,降低疾病的误诊率,有利于医生更好的提出治疗方案。
低剂量CT图像去噪方法大致可以分为3类:正弦图滤波方法、迭代重建方法和图像后处理方法。正弦图滤波的方法指直接对CT设备探测得到的正弦图数据去噪,然后通过滤波反投影(filtered back-projection,FBP)[1]算法获得去噪后的CT图像[2-3]。迭代重建方法结合投影域的噪声统计信息和图像域的先验信息,构建目标函数,通过迭代优化方法求解目标函数获得高质量的CT图像,其中,基于字典学习[4]和基于全变分[5]的方法是两种经典的迭代重建方法。然而,上述两类方法都需要投影数据的支持,一般情况下,投影数据会被CT设备厂商加密从而难以获得,因此这两类方法的推广需要设备厂商进行配合,推广成本高、难度大。
图像后处理方法和前两类方法不同,仅需要对重建后的含噪声图像进行处理即可,无需访问投影数据,具有更好的商业推广潜力。传统的图像后处理方法如三维块匹配(block-matching 3-D,BM3D)[6]算法和非局部均值(nonlocal means,NM)[7]算法,虽然能够取得一定的去噪效果,但结果往往过于平滑,可能丢失关键的局部细节信息,图像质量常常难以达到临床要求。
近年来,随着深度学习相关技术的兴起,医学成像领域的研究人员提出了多种基于深度学习的低剂量CT图像去噪方法。比如,Chen等[8]将残差结构引入自编码器结构,提出RED-CNN(residual encoder-decoder convolutional neural network),取得了较好的去噪效果;Shan等[9]提出CPCE(conveying path-based convolutional encoder-decoder),通过预训练的二维卷积网络对三维卷积网络参数进行初始化,并进一步微调,取得了更好的成像效果;You等[10]将 CycleGAN思想引入低剂量CT图像去噪,降低了基于深度学习的低剂量CT去噪方法对配对数据的高度依赖;Gholizadeh-Ansari等[11]将边缘检测、空洞卷积、跳跃连接、感知损失等技术结合,进一步提升网络的去噪能力。
自然图像去噪作为热门研究领域之一,吸引了众多研究人员的兴趣,他们基于深度学习框架提出了多种去噪算法[12-15]。尤其是近期的图像去噪方法NBNet(noise basis network)[16],将子空间投影技术加入去噪网络,在自然图像去噪上获得了具有竞争力的去噪效果,展示了子空间投影在自然图像去噪中的有效性。低剂量CT去噪方法的研究可以借鉴这些自然图像去噪方法,将这些自然图像去噪方法推广到低剂量CT去噪领域。然而,由于自然图像和医学图像的数据分布具有较大差异,自然图像去噪方法难以直接应用在低剂量CT去噪之中,在借鉴这些自然图像去噪算法的同时,需要考虑到低剂量CT图像的自身特性。
受NBNet在自然图像去噪领域成功应用的启发,本文将子空间投影技术引入低剂量CT去噪领域。同时在多项低剂量CT去噪工作[17-19]中已证明边缘信息在低剂量 CT图像去噪过程中非常重要,本文使用Sobel算子[20]提取CT图像的边缘信息。本文设计了一个双流编码器,其中边缘信息编码流将CT图像的边缘信息引入去噪网络,此外噪声图像编码流对图像特征进行提取,并将其与边缘特征相拼接,和对应解码器的特征进行融合。
为分离噪声信息与图像信息,本文在双流编码器的基础上结合子空间投影技术,提出适用于低剂量CT图像去噪的基于子空间投影和边缘增强网络(subspace projection and edge enhancement network,SPEENet),SPEENet以低剂量CT图像作为输入,充分利用噪声图像和边缘信息,能够较好抑制噪声和伪影的去噪结果。
1. 方法
SPEENet的总体架构如图1所示,SPEENet为自编码器结构,包含双流编码器和解码器两个主要模块。双流编码器分为噪声图像编码流及边缘信息编码流,其中噪声图像编码流的输入为64×64的低剂量CT图像块,边缘信息编码流的输入为该低剂量CT图像通过Sobel算子提取的梯度图像;在编码器阶段,第1个卷积块会生成通道数为32的特征图,此后每经过一个卷积块,特征图的通道数量翻倍;卷积块采用残差结构[21],并使用LeakyReLU[22]作为激活函数。在解码器阶段,每经过一个卷积块,特征图的通道数量减半。本文使用噪声基投影模块(noise basis projection module,NBPM)建立编码器和解码器对应特征联系,使得网络具有更好的去噪效果。
由于CT图像复杂的结构信息,提升网络对边缘信息的关注,可以有效提升低剂量CT去噪后的视觉质量。为充分利用边缘信息,本文利用边缘信息编码流,对低剂量CT图像的边缘信息提取不同层级的语义信息。本文采用一阶边缘检测Sobel算子提取低剂量CT图像的边缘信息,其提取效果如图2所示,不难看出,Sobel算子可以有效提取CT图像的解剖边缘信息。提取边缘信息后,通过卷积对其进行特征提取,然后使用concat操作将其与噪声图像特征拼接起来,经过卷积块后输入到NBPM中,使得网络在获取CT图像信息的同时能够获取边缘信息,提升网络的去噪效果的同时有效保护图像的边缘结构。
本文引入NBNet[16]的NBPM模块,该模块从子空间投影角度出发,利用解码器特征来引导编码器特征的重构。具体地,来自编码器的特征先通过若干卷积块,得到特征图
$ {\boldsymbol{A}}_{1} $ 。除了最后一个卷积块,所有卷积块都不改变特征图的通道数量,最后一个卷积块会将特征图的通道数量减半。首先使用concat操作将来自编码器的特征$ {\boldsymbol{A}}_{1} $ 和来自解码器的特征$ {\boldsymbol{A}}_{2} $ 进行拼接,通过卷积提取特征,随后经过维度变换获取B个基向量组成的矩阵P,再将$ {\boldsymbol{A}}_{1} $ 正交投影到该子空间,获得对应的子空间特征D。在实验中,B的取值为 16。NBNet已经证明选择将
$ {\boldsymbol{A}}_{1} $ 投影到子空间的效果优于选择$ {\boldsymbol{A}}_{2} $ 。NBMP模块通过将图像特征正交投影到子空间,从而将噪声分量与图像信息解耦开来,能够更有效地去除噪声和保护图像信息。相比而言,传统方法中人工构造的正交基难以将噪声分量和图像信息有效解耦,导致图像去噪能力有限,而NBPM模块以数据驱动的方式学习得到基向量,能最大程度地解耦噪声分量和图像信息,再使用不同的卷积核对它们进行处理,可以实现更好的去噪性能。子空间投影过程如下式所示:$$ \boldsymbol{D}=\boldsymbol{P}{\left({\boldsymbol{P}}^{\mathrm{T}}\boldsymbol{P}\right)}^{-1}{\boldsymbol{P}}^{\mathrm{T}}{\boldsymbol{A}}_{1}。 $$ (1) 不同于Liu等[23-24]和Chen等[25]提出的方法,这些方法采用字典学习,将字典中的基线性组合的系数需要满足一定的稀疏约束条件。在本文所提的方法中,投影结果D的每个通道都可以视为一组基的线性组合,但组合系数不需要满足稀疏约束条件。不同于Yin等[26]和Lyu等[27]提出的方法,这些方法需要使用CT投影数据训练网络,SPEENet的训练过程不需要CT投影数据。
本文采用的损失函数,公式如下:
$$ L={\big\|G\left(\boldsymbol{x}\right)-\boldsymbol{y}\big\|}_{1}, $$ (2) 其中,
$ G(\cdot) $ 表示SPEENet,x表示输入的低剂量CT图像,y代表对应的正常剂量的 CT图像。2. 实验结果和分析
本节介绍数据集和训练细节,并展示实验结果。为验证SPEENet的有效性,本文采用RED-CNN[8]、FBPConvNet[28]进行对比实验。同时,为证明NBPM模块的有效性,本文去除SPEENet中的NBPM模块;为证明利用Sobel算子提取的边缘信息能够提升网络的去噪效果,本文去除SPEENet中的边缘信息编码流。将这两种架构分别记为SPEENet1和SPEENet2并进行了消融实验。
2.1 数据集
本文采用Mayo Clinic授权用于“the 2016 NIH-AAPM-Mayo Clinic Low Dose CT Grand Challenge”[29]的数据集。数据集包含来自10位匿名患者的正常剂量和1/4剂量的CT图像,本文使用9位患者的2167张CT图像作为训练集,用剩下1位患者的211张图像作为测试集。
2.2 训练细节
实验所用的CPU是Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20 GHz,GPU是一张NVIDIA GeForce GTX 1080Ti。模型采用PyTorch深度学习框架构建,网络采用Adam[30]优化器,学习率是0.00002,批处理大小是32,共训练400轮。在训练过程中,将图片随机裁切成64×64的图像块作为输入,并将正常剂量CT图像对应图像块作为标签。
2.3 实验结果
来自患者L506的211张512×512的1/4剂量CT图像参与了测试,在FBPConvNet、RED-CNN、SPEENet1、SPEENet2和本文方法SPEENet上的实验结果如图3~图6所示。可以观察到,1/4剂量的CT图像中有明显的噪声和条状伪影,FBPConvNet能够去除一定的噪声和伪影,但去噪结果过于平滑,丢失了较多细节。经典方法RED-CNN的去噪效果较于FBPConvNet更好,但其结果仍然偏于平滑,存在部分细节特征的丢失。
由于SPEENet1没有NBPM模块,没有有效建立编码器和解码器特征的联系,细节的丢失更加严重,出现明显的过平滑效应。由于SPEENet2去除了边缘信息编码流,也丢失了部分细节、出现一定的过平滑效应。相比之下,SPEENet能够提供最佳的去噪效果,在基本去除噪声和伪影的同时,保留了更多的细节信息。
除了上述的视觉结果对比,本文也对不同方法的结果进行了定量评价,评价指标包括峰值信噪比(peak signal to noise ratio,PSNR)和结构相似度(structural similarity index metric,SSIM)。量化结果如表1所示,不难发现,SPEENet的两种量化指标均领先于经典方法FBPConvNet和RED-CNN,而PSNR略微低于SPEENet1和SPEENet2,这是因为SPEENet1和SPEENet2中的过平滑会降低均方根误差结果。但从SSIM指标的对比中可以看出,SPEENet的SSIM指标优于其他对比方法,说明其视觉效果更加优秀,所保留的结构和细节更多,更具有临床诊断价值。
表 1 去噪结果的PSNR和SSIMTable 1. PSNR and SSIM of the denoised results方法 FBPConvNet RED-CNN SPEENet1 SPEENet2 SPEENet PSNR 32.104 32.731 33.204 33.233 33.072 SSIM 0.919 0.916 0.920 0.922 0.923 3. 结语
本文提出一种基于子空间投影和边缘增强的低剂量CT去噪网络SPEENet。该网络通过增加对边缘信息的关注并引入子空间投影技术有效建立编码器与解码器对应层级特征关系,获取较好的去噪效果。实验结果表明,与经典的FBPConvNet和RED-CNN相比,本文的方法能更好地抑制噪声,验证了SPEENet的有效性。此外,通过SPEENet和SPEENet1的对比,说明子空间投影技术有助于在去噪结果中保留细节;通过SPEENet和SPEENet2的对比,说明通过Sobel算子提取的边缘信息对去噪结果中的细节保留亦有一定帮助。
在未来的研究中,我们将基于此网络进行改进,进一步探索子空间投影技术在低剂量CT去噪和其他医学图像重建方面的应用。
-
表 1 去噪结果的PSNR和SSIM
Table 1 PSNR and SSIM of the denoised results
方法 FBPConvNet RED-CNN SPEENet1 SPEENet2 SPEENet PSNR 32.104 32.731 33.204 33.233 33.072 SSIM 0.919 0.916 0.920 0.922 0.923 -
[1] PAN X, SIDKY E Y, VANNIER M. Why do commercial CT scanners still employ traditional, filtered back-projection for image reconstruction?[J]. Inverse Problems, 2009, 25(12): 123009. doi: 10.1088/0266-5611/25/12/123009
[2] WANG J, LI T, LU H, et al. Penalized weighted least-squares approach to sinogram noise reduction and image reconstruction for low-dose X-ray computed tomography[J]. IEEE Transactions on Medical Imaging, 2006, 25(10): 1272−1283. doi: 10.1109/TMI.2006.882141
[3] MANDUCA A, YU L, TRZASKO J D, et al. Projection space denoising with bilateral filtering and CT noise modeling for dose reduction in CT[J]. Medical Physics, 2009, 36(11): 4911−4919. doi: 10.1118/1.3232004
[4] XU Q, YU H, MOU X, et al. Low-dose X-ray CT reconstruction via dictionary learning[J]. IEEE Transactions on Medical Imaging, 2012, 31(9): 1682−1697. doi: 10.1109/TMI.2012.2195669
[5] ZHENG X, RAVISHANKAR S, LONG Y, et al. PWLS-ULTRA: An efficient clustering and learning-based approach for low-dose 3D CT image reconstruction[J]. IEEE Transactions on Medical Imaging, 2018, 37(6): 1498−1510. doi: 10.1109/TMI.2018.2832007
[6] FERUGLIO P F, VINEGONI C, GROS J, et al. Block matching 3D random noise filtering for absorption optical projection tomography[J]. Physics in Medicine & Biology, 2010, 55(18): 5401.
[7] MA J, HUANG J, FENG Q, et al. Low-dose computed tomography image restoration using previous normal-dose scan[J]. Medical Physics, 2011, 38(10): 5713−5731. doi: 10.1118/1.3638125
[8] CHEN H, ZHANG Y, KALRA M K, et al. Low-dose CT with a residual encoder-decoder convolutional neural network[J]. IEEE Transactions on Medical Imaging, 2017, 36(12): 2524−2535. doi: 10.1109/TMI.2017.2715284
[9] SHAN H, ZHANG Y, YANG Q, et al. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network[J]. IEEE Transactions on Medical Imaging, 2018, 37(6): 1522−1534. doi: 10.1109/TMI.2018.2832217
[10] YOU C, LI G, ZHANG Y, et al. CT super-resolution GAN constrained by the identical, residual, and cycle learning ensemble (GAN-CIRCLE)[J]. IEEE Transactions on Medical Imaging, 2019, 39(1): 188−203.
[11] GHOLIZADEH-ANSARI M, ALIREZAIE J, BABYN P. Deep learning for low-dose CT denoising using perceptual loss and edge detection layer[J]. Journal of Digital Imaging, 2020, 33(2): 504−515. doi: 10.1007/s10278-019-00274-4
[12] ZHANG K, ZUO W, CHEN Y, et al. Beyond a gaussian denoiser: Residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142−3155. doi: 10.1109/TIP.2017.2662206
[13] AWAR S, BARNES N. Real image denoising with feature attention[C]//IEEE/CVF International Conference on Computer Vision. 2019: 3155-3164.
[14] GUO S, YAN Z, ZHANG K, et al. Toward convolutional blind denoising of real photographs[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 1712-1722.
[15] ZAMIR S W, ARORA A, KHAN S, et al. Learning enriched features for real image restoration and enhancement[C]//European Conference on Computer Vision. Springer, Cham, 2020: 492-511.
[16] CHENG S, WANG Y Z, HUANG H B, et al. NBNet: Noise basis learning for image denoising with subspace projection[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 4896-4906.
[17] HUANG Z, ZHANG J, ZHANG Y, et al. DU-GAN: Generative adversarial networks with dual-domain U-Net based discriminators for low-dose CT denoising[J]. arXiv Preprint. arXiv: 2108.10772, 2021.
[18] SHAN H, PADOLE A, HOMAYOUNIEH F, et al. Competitive performance of a modularized deep neural network compared to commercial algorithms for low-dose CT image reconstruction[J]. Nature Machine Intelligence, 2019, 1(6): 269−276. doi: 10.1038/s42256-019-0057-9
[19] LUTHRA A, SULAKHE H, MITTAL T, et al. Eformer: Edge enhancement based transformer for medical image denoising[J]. arXiv Preprint. arXiv: 2109.08044, 2021.
[20] KANOPOULOS N, VASANTHAVADA N, BAKER R L. Design of an image edge detection filter using the Sobel operator[J]. IEEE Journal of Solid-state Circuits, 1988, 23(2): 358−367. doi: 10.1109/4.996
[21] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.
[22] XU B, WANG N, CHEN T, et al. Empirical evaluation of rectified activations in convolutional network[J]. arXiv Preprint. arXiv: 1505.00853, 2015.
[23] LIU J, HU Y, YANG J, et al. 3D feature constrained reconstruction for low-dose CT imaging[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 28(5): 1232−1247.
[24] LIU J, MA J, ZHANG Y, et al. Discriminative feature representation to improve projection data inconsistency for low dose CT imaging[J]. IEEE Transactions on Medical Imaging, 2017, 36(12): 2499−2509. doi: 10.1109/TMI.2017.2739841
[25] CHEN Y, SHI L, FENG Q, et al. Artifact suppressed dictionary learning for low-dose CT image processing[J]. IEEE Transactions on Medical Imaging, 2014, 33(12): 2271−2292. doi: 10.1109/TMI.2014.2336860
[26] YIN X, ZHAO Q, LIU J, et al. Domain progressive 3D residual convolution network to improve low-dose CT imaging[J]. IEEE Transactions on Medical Imaging, 2019, 38(12): 2903−2913. doi: 10.1109/TMI.2019.2917258
[27] LYU T, ZHAO W, ZHU Y, et al. Estimating dual-energy CT imaging from single-energy CT data with material decomposition convolutional neural network[J]. Medical Image Analysis, 2021, 70: 102001. doi: 10.1016/j.media.2021.102001
[28] JIN H, MCCANN M T, FROUSTEY E, et al. Deep convolutional neural network for inverse problems in imaging[J]. IEEE Transactions on Image Processing, 2017, 26(9): 4509−4522. doi: 10.1109/TIP.2017.2713099
[29] MCCOLLOUGH C, BARTLEY A C, CARTER R E, et al. Low-dose CT for the detection and classification of metastatic liver lesions: Results of the 2016 low dose CT grand challenge[J]. Medical Physics, 2017, 44(10): e339−e352. doi: 10.1002/mp.12345
[30] KINGMA D P, BA J. Adam: A method for stochastic optimization[J]. arXiv Preprint. arXiv: 1412.6980, 2014.
-
期刊类型引用(3)
1. 郭杰,蔡爱龙,王少宇,郑治中,李磊,闫镔. 光子计数探测器投影数据噪声的p-范分布统计分析. 光学学报. 2024(03): 102-110 . 百度学术
2. 杨光,高嘉保,韩瑞. 基于深度学习建立模型去除工业CT伪影的技术研究. 无损探伤. 2023(03): 18-22 . 百度学术
3. 丰川. 多层螺旋CT双低剂量扫描在冠状动脉血管成像诊断冠心病中的应用价值. 影像研究与医学应用. 2023(13): 87-89 . 百度学术
其他类型引用(2)