Coherent Beam-forming Combined with Wiener Filter in Ultrasound Imaging
-
摘要: 传统超声动态聚焦通过简单的延时叠加方法成像,分辨率较低、对比度较差。本研究在基于像素的相干波束合成(Coherent PB)的基础上,应用一种计算效率较高的前置维纳滤波器,利用焦点处的脉冲回波对整个阵列信号进行相位矫正,并通过后置维纳滤波器为每次子孔径波束合成结果施加自适应权值,进一步抑制噪声和伪影。通过仿真、仿体和在体实验对本方法的有效性进行验证,与Coherent PB相比,本方法在保持较高横向分辨率和计算效率的基础上,明显改善图像的轴向分辨率和对比度,具有一定临床应用价值。Abstract: The traditional ultrasonic dynamic focusing imaging which simply uses the delay-and-sum method in beamforming shows low resolution and poor contrast. In this study, based on the coherent pixel-based beamforming (Coherent PB), a novel Wiener pre-filter with high computational efficiency is applied to correct the phase of the entire array signal by using the pulse-echo at the focal point. We also apply a Wiener post-filter calculating adaptive weights for the beamforming results of each sub-aperture to suppress the noise and artifacts. The proposed method's effectiveness is verified through simulation experiments, phantom experiments, and in vivo experiments. Compared with Coherent PB, the proposed method significantly improves the axial resolution and contrast of images while maintaining the high lateral resolution and computational efficiency, which shows certain clinical application value.
-
Keywords:
- ultrasound beamforming /
- coherent /
- Wiener filter /
- axial resolution
-
计算机断层成像(computed tomography,CT)技术可以非入侵式地获取人体解剖信息,是当前主要的临床诊断方式之一。然而CT扫描过程中产生的X射线辐射会对人体产生危害,为减少对人体的潜在危害,低剂量CT成像技术一直是放射诊断领域的研究热点。通过改变CT扫描时的硬件参数可以有效降低患者接收到的辐射剂量,但是使用传统解析算法重建得到的低剂量CT图像往往包含严重的噪声及伪影,严重影响医生诊断。对低剂量CT图像进行去噪可以在降低患者所受辐射剂量的同时,有效帮助医生观察解剖结构,降低疾病的误诊率,有利于医生更好的提出治疗方案。
低剂量CT图像去噪方法大致可以分为3类:正弦图滤波方法、迭代重建方法和图像后处理方法。正弦图滤波的方法指直接对CT设备探测得到的正弦图数据去噪,然后通过滤波反投影(filtered back-projection,FBP)[1]算法获得去噪后的CT图像[2-3]。迭代重建方法结合投影域的噪声统计信息和图像域的先验信息,构建目标函数,通过迭代优化方法求解目标函数获得高质量的CT图像,其中,基于字典学习[4]和基于全变分[5]的方法是两种经典的迭代重建方法。然而,上述两类方法都需要投影数据的支持,一般情况下,投影数据会被CT设备厂商加密从而难以获得,因此这两类方法的推广需要设备厂商进行配合,推广成本高、难度大。
图像后处理方法和前两类方法不同,仅需要对重建后的含噪声图像进行处理即可,无需访问投影数据,具有更好的商业推广潜力。传统的图像后处理方法如三维块匹配(block-matching 3-D,BM3D)[6]算法和非局部均值(nonlocal means,NM)[7]算法,虽然能够取得一定的去噪效果,但结果往往过于平滑,可能丢失关键的局部细节信息,图像质量常常难以达到临床要求。
近年来,随着深度学习相关技术的兴起,医学成像领域的研究人员提出了多种基于深度学习的低剂量CT图像去噪方法。比如,Chen等[8]将残差结构引入自编码器结构,提出RED-CNN(residual encoder-decoder convolutional neural network),取得了较好的去噪效果;Shan等[9]提出CPCE(conveying path-based convolutional encoder-decoder),通过预训练的二维卷积网络对三维卷积网络参数进行初始化,并进一步微调,取得了更好的成像效果;You等[10]将 CycleGAN思想引入低剂量CT图像去噪,降低了基于深度学习的低剂量CT去噪方法对配对数据的高度依赖;Gholizadeh-Ansari等[11]将边缘检测、空洞卷积、跳跃连接、感知损失等技术结合,进一步提升网络的去噪能力。
自然图像去噪作为热门研究领域之一,吸引了众多研究人员的兴趣,他们基于深度学习框架提出了多种去噪算法[12-15]。尤其是近期的图像去噪方法NBNet(noise basis network)[16],将子空间投影技术加入去噪网络,在自然图像去噪上获得了具有竞争力的去噪效果,展示了子空间投影在自然图像去噪中的有效性。低剂量CT去噪方法的研究可以借鉴这些自然图像去噪方法,将这些自然图像去噪方法推广到低剂量CT去噪领域。然而,由于自然图像和医学图像的数据分布具有较大差异,自然图像去噪方法难以直接应用在低剂量CT去噪之中,在借鉴这些自然图像去噪算法的同时,需要考虑到低剂量CT图像的自身特性。
受NBNet在自然图像去噪领域成功应用的启发,本文将子空间投影技术引入低剂量CT去噪领域。同时在多项低剂量CT去噪工作[17-19]中已证明边缘信息在低剂量 CT图像去噪过程中非常重要,本文使用Sobel算子[20]提取CT图像的边缘信息。本文设计了一个双流编码器,其中边缘信息编码流将CT图像的边缘信息引入去噪网络,此外噪声图像编码流对图像特征进行提取,并将其与边缘特征相拼接,和对应解码器的特征进行融合。
为分离噪声信息与图像信息,本文在双流编码器的基础上结合子空间投影技术,提出适用于低剂量CT图像去噪的基于子空间投影和边缘增强网络(subspace projection and edge enhancement network,SPEENet),SPEENet以低剂量CT图像作为输入,充分利用噪声图像和边缘信息,能够较好抑制噪声和伪影的去噪结果。
1. 方法
SPEENet的总体架构如图1所示,SPEENet为自编码器结构,包含双流编码器和解码器两个主要模块。双流编码器分为噪声图像编码流及边缘信息编码流,其中噪声图像编码流的输入为64×64的低剂量CT图像块,边缘信息编码流的输入为该低剂量CT图像通过Sobel算子提取的梯度图像;在编码器阶段,第1个卷积块会生成通道数为32的特征图,此后每经过一个卷积块,特征图的通道数量翻倍;卷积块采用残差结构[21],并使用LeakyReLU[22]作为激活函数。在解码器阶段,每经过一个卷积块,特征图的通道数量减半。本文使用噪声基投影模块(noise basis projection module,NBPM)建立编码器和解码器对应特征联系,使得网络具有更好的去噪效果。
由于CT图像复杂的结构信息,提升网络对边缘信息的关注,可以有效提升低剂量CT去噪后的视觉质量。为充分利用边缘信息,本文利用边缘信息编码流,对低剂量CT图像的边缘信息提取不同层级的语义信息。本文采用一阶边缘检测Sobel算子提取低剂量CT图像的边缘信息,其提取效果如图2所示,不难看出,Sobel算子可以有效提取CT图像的解剖边缘信息。提取边缘信息后,通过卷积对其进行特征提取,然后使用concat操作将其与噪声图像特征拼接起来,经过卷积块后输入到NBPM中,使得网络在获取CT图像信息的同时能够获取边缘信息,提升网络的去噪效果的同时有效保护图像的边缘结构。
本文引入NBNet[16]的NBPM模块,该模块从子空间投影角度出发,利用解码器特征来引导编码器特征的重构。具体地,来自编码器的特征先通过若干卷积块,得到特征图
$ {\boldsymbol{A}}_{1} $ 。除了最后一个卷积块,所有卷积块都不改变特征图的通道数量,最后一个卷积块会将特征图的通道数量减半。首先使用concat操作将来自编码器的特征$ {\boldsymbol{A}}_{1} $ 和来自解码器的特征$ {\boldsymbol{A}}_{2} $ 进行拼接,通过卷积提取特征,随后经过维度变换获取B个基向量组成的矩阵P,再将$ {\boldsymbol{A}}_{1} $ 正交投影到该子空间,获得对应的子空间特征D。在实验中,B的取值为 16。NBNet已经证明选择将
$ {\boldsymbol{A}}_{1} $ 投影到子空间的效果优于选择$ {\boldsymbol{A}}_{2} $ 。NBMP模块通过将图像特征正交投影到子空间,从而将噪声分量与图像信息解耦开来,能够更有效地去除噪声和保护图像信息。相比而言,传统方法中人工构造的正交基难以将噪声分量和图像信息有效解耦,导致图像去噪能力有限,而NBPM模块以数据驱动的方式学习得到基向量,能最大程度地解耦噪声分量和图像信息,再使用不同的卷积核对它们进行处理,可以实现更好的去噪性能。子空间投影过程如下式所示:$$ \boldsymbol{D}=\boldsymbol{P}{\left({\boldsymbol{P}}^{\mathrm{T}}\boldsymbol{P}\right)}^{-1}{\boldsymbol{P}}^{\mathrm{T}}{\boldsymbol{A}}_{1}。 $$ (1) 不同于Liu等[23-24]和Chen等[25]提出的方法,这些方法采用字典学习,将字典中的基线性组合的系数需要满足一定的稀疏约束条件。在本文所提的方法中,投影结果D的每个通道都可以视为一组基的线性组合,但组合系数不需要满足稀疏约束条件。不同于Yin等[26]和Lyu等[27]提出的方法,这些方法需要使用CT投影数据训练网络,SPEENet的训练过程不需要CT投影数据。
本文采用的损失函数,公式如下:
$$ L={\big\|G\left(\boldsymbol{x}\right)-\boldsymbol{y}\big\|}_{1}, $$ (2) 其中,
$ G(\cdot) $ 表示SPEENet,x表示输入的低剂量CT图像,y代表对应的正常剂量的 CT图像。2. 实验结果和分析
本节介绍数据集和训练细节,并展示实验结果。为验证SPEENet的有效性,本文采用RED-CNN[8]、FBPConvNet[28]进行对比实验。同时,为证明NBPM模块的有效性,本文去除SPEENet中的NBPM模块;为证明利用Sobel算子提取的边缘信息能够提升网络的去噪效果,本文去除SPEENet中的边缘信息编码流。将这两种架构分别记为SPEENet1和SPEENet2并进行了消融实验。
2.1 数据集
本文采用Mayo Clinic授权用于“the 2016 NIH-AAPM-Mayo Clinic Low Dose CT Grand Challenge”[29]的数据集。数据集包含来自10位匿名患者的正常剂量和1/4剂量的CT图像,本文使用9位患者的2167张CT图像作为训练集,用剩下1位患者的211张图像作为测试集。
2.2 训练细节
实验所用的CPU是Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20 GHz,GPU是一张NVIDIA GeForce GTX 1080Ti。模型采用PyTorch深度学习框架构建,网络采用Adam[30]优化器,学习率是0.00002,批处理大小是32,共训练400轮。在训练过程中,将图片随机裁切成64×64的图像块作为输入,并将正常剂量CT图像对应图像块作为标签。
2.3 实验结果
来自患者L506的211张512×512的1/4剂量CT图像参与了测试,在FBPConvNet、RED-CNN、SPEENet1、SPEENet2和本文方法SPEENet上的实验结果如图3~图6所示。可以观察到,1/4剂量的CT图像中有明显的噪声和条状伪影,FBPConvNet能够去除一定的噪声和伪影,但去噪结果过于平滑,丢失了较多细节。经典方法RED-CNN的去噪效果较于FBPConvNet更好,但其结果仍然偏于平滑,存在部分细节特征的丢失。
由于SPEENet1没有NBPM模块,没有有效建立编码器和解码器特征的联系,细节的丢失更加严重,出现明显的过平滑效应。由于SPEENet2去除了边缘信息编码流,也丢失了部分细节、出现一定的过平滑效应。相比之下,SPEENet能够提供最佳的去噪效果,在基本去除噪声和伪影的同时,保留了更多的细节信息。
除了上述的视觉结果对比,本文也对不同方法的结果进行了定量评价,评价指标包括峰值信噪比(peak signal to noise ratio,PSNR)和结构相似度(structural similarity index metric,SSIM)。量化结果如表1所示,不难发现,SPEENet的两种量化指标均领先于经典方法FBPConvNet和RED-CNN,而PSNR略微低于SPEENet1和SPEENet2,这是因为SPEENet1和SPEENet2中的过平滑会降低均方根误差结果。但从SSIM指标的对比中可以看出,SPEENet的SSIM指标优于其他对比方法,说明其视觉效果更加优秀,所保留的结构和细节更多,更具有临床诊断价值。
表 1 去噪结果的PSNR和SSIMTable 1. PSNR and SSIM of the denoised results方法 FBPConvNet RED-CNN SPEENet1 SPEENet2 SPEENet PSNR 32.104 32.731 33.204 33.233 33.072 SSIM 0.919 0.916 0.920 0.922 0.923 3. 结语
本文提出一种基于子空间投影和边缘增强的低剂量CT去噪网络SPEENet。该网络通过增加对边缘信息的关注并引入子空间投影技术有效建立编码器与解码器对应层级特征关系,获取较好的去噪效果。实验结果表明,与经典的FBPConvNet和RED-CNN相比,本文的方法能更好地抑制噪声,验证了SPEENet的有效性。此外,通过SPEENet和SPEENet1的对比,说明子空间投影技术有助于在去噪结果中保留细节;通过SPEENet和SPEENet2的对比,说明通过Sobel算子提取的边缘信息对去噪结果中的细节保留亦有一定帮助。
在未来的研究中,我们将基于此网络进行改进,进一步探索子空间投影技术在低剂量CT去噪和其他医学图像重建方面的应用。
-
图 1 双脉冲模型原理图
(a)根据Verasonics Vantage-256的参数,用Field Ⅱ模拟的发射场模式及施加变迹示意图。(b)在成像点P1、P2、P3和焦点F处产生的发射波形。所有波形都被归一化为在P2处模拟的振幅[11]。
Figure 1. Schematic diagram of two-pulse characterization model
表 1 仿真实验的分辨率及对比度
Table 1 Resolution and contrast of simulation experiments
波束合成器 横向FWHM位于/mm 轴向FWHM位于/mm CR CNR 22 25 28 22 25 28 Dyn. foc. 0.228 0.443 0.533 0.307 0.292 0.307 0.208 1.306 Coherent PB 0.234 0.264 0.276 0.239 0.249 0.263 0.333 1.799 CWF-PB 0.198 0.258 0.258 0.183 0.173 0.175 0.189 1.067 CWF-ScW 0.198 0.258 0.258 0.168 0.173 0.185 0.298 1.385 表 2 仿体实验的分辨率及对比度
Table 2 Resolution and contrast of phantom experiments
波束合成器 横向FWHM位于 轴向FWHM位于 CR CNR A点 B点 C点 A点 B点 C点 Dyn. foc. 0.276 0.413 0.629 0.347 0.410 0.484 0.141 0.871 Coherent PB 0.234 0.306 0.401 0.401 0.437 0.447 0.147 1.015 CWF-PB 0.228 0.306 0.420 0.288 0.286 0.337 0.148 1.005 CWF-ScW 0.240 0.300 0.407 0.296 0.278 0.330 0.187 1.147 -
[1] 郑驰超, 彭虎. 基于编码发射与自适应波束形成的超声成像[J]. 电子与信息学报, 2010,32(4): 959−962. ZHENG C C, PENG H. Ultrasounic imaging based on coded exciting technology and adaptive beamforming[J]. Journal of Electronics & Information Technology, 2010, 32(4): 959−962. (in Chinese).
[2] JENSEN J A, NIKOLOV S I, GAMMELMARK K L, et al. Synthetic aperture ultrasound imaging[J]. Ultrasonics, 2006, 44(8): e5−e15.
[3] NOWICKI A, GAMBIN B. Ultrasonic synthetic apertures: Review[J]. Archives of Acoustics, 2014, 39(4): 427−438.
[4] 孙宝申, 沈建中. 合成孔径聚焦超声成像(一)[J]. 应用声学: 1993, 12(3): 43-48. [5] 孙宝申, 张凡, 沈建中. 合成孔径聚焦声成像时域算法研究[J]. 声学学报, 1997,22(1): 42−49. SUN B S, ZHANG F, SHEN J Z. Synthetic aperture focusing in time-domain for acoustic imaging[J]. Acta Acustica, 1997, 22(1): 42−49. (in Chinese).
[6] 杜英华, 张聪颖, 陈世莉, 等. 合成孔径聚焦超声成像方法研究[J]. 海洋技术, 2010,29(2): 94−96. doi: 10.3969/j.issn.1003-2029.2010.02.023 DU Y H, ZHANG C Y, CHEN S L, et al. Research of synthetic aperture focus technology in ultrasonic imaging[J]. Ocean Technology, 2010, 29(2): 94−96. (in Chinese). doi: 10.3969/j.issn.1003-2029.2010.02.023
[7] 李遥, 吴文焘, 李平. 虚拟源方法应用于B超成像系统的研究[J]. 声学技术, 2013,32(S1): 183−184. LI Y, WU W T, LI P. A study of B-mode ultrasound imaging with virtual source method[J]. Technical Acoustics, 2013, 32(S1): 183−184. (in Chinese).
[8] 李瑶, 吴文焘, 李平. 超声虚源成像中自适应双向空间逐点聚焦方法[J]. 声学学报, 2016,41(3): 287−295. LI Y, WU W T, LI P. Adaptive bi-directional point-wise focusing method in ultrasonic imaging based on virtual source[J]. Acta Acustica, 2016, 41(3): 287−295. (in Chinese).
[9] FRAZIER C H, O'BRIEN W D. Synthetic aperture techniques with a virtual source element[J]. IEEE Transactions on Ultrasonics Ferroelectrics & Frequency Control, 1998, 45(1): 196−207.
[10] NGUYEN N Q, PRAGER R W. High-resolution ultrasound imaging with unified pixel-based beamforming[J]. IEEE Transactions on Biomedical Engineering, 2015, 35(1): 98−108.
[11] NGUYEN N Q, PRAGER R W. Ultrasound pixel-based beamforming with phase alignments of focused beams[J]. IEEE Transactions on Ultrasonics Ferroelectrics and Frequency Control, 2017, 64(6): 937−946. doi: 10.1109/TUFFC.2017.2685198
[12] KIM C, YOON C, PARK J H, et al. Evaluation of ultrasound synthetic aperture imaging using bidirectional pixel-based focusing: Preliminary phantom and in vivo breast study[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(10): 2716−2724. doi: 10.1109/TBME.2013.2263310
[13] JENSEN J A, GORI P. Spatial filters for focusing ultrasound images[C]//2001 IEEE Ultrasonics Symposium Proceedings, 2001, 2: 1507-1511.
[14] 聂昕, 郭志福, 何智成, 等. 基于盲反卷积和参数化模型的超声参数估计[J]. 仪器仪表学报, 2015,36(11): 2611−2616. doi: 10.3969/j.issn.0254-3087.2015.11.027 NIE X, GUO Z F, HE Z C, et al. Parameters estimation of ultrasonic echo signal based on blind deconvolution and parameterized model[J]. Chinese Journal of Scientific Instrument, 2015, 36(11): 2611−2616. (in Chinese). doi: 10.3969/j.issn.0254-3087.2015.11.027
[15] 孔垂硕, 罗林, 李金龙, 等. 基于盲反卷积的超声合成孔径图像复原[J]. 电子制作, 2018,(7): 92−94. doi: 10.3969/j.issn.1006-5059.2018.07.035 [16] KIM K S, LIU J, INSANA M F. Efficient array beam forming by spatial filtering for ultrasound B-mode imaging[J]. Journal of the Acoustical Society of America, 2006, 120(2): 852. doi: 10.1121/1.2214393
[17] XIE H W, GUO H, ZHOU G Q, et al. Improved ultrasound image quality with pixel-based beamforming using a Wiener-filter and a SNR-dependent coherence factor[J]. Ultrasonics, 2022, 119: 106594. doi: 10.1016/j.ultras.2021.106594
[18] MALLART R, FINK M. Adaptive focusing in scattering media through sound-speed inhomogeneities: The van cittert zernike approach and focusing criterion[J]. The Journal of the Acoustical Society of America, 1994, 96(6): 3721−3732. doi: 10.1121/1.410562
[19] LI P C, LI M L. Adaptive imaging using the generalized coherence factor[J]. IEEE Transactions on Ultrasonics Ferroelectrics and Frequency Control, 2003, 50(2): 128−141. doi: 10.1109/TUFFC.2003.1182117
[20] CAMACHO J, PARRILLA M, FRITSCH C. Phase coherence imaging[J]. IEEE Transactions on Ultrasonics Ferroelectrics and Frequency Control, 2009, 56(5): 958−974. doi: 10.1109/TUFFC.2009.1128
[21] NILSEN C I C, HOLM S. Wiener beamforming and the coherence factor in ultrasound imaging[J]. Ultrasonics Ferroelectrics & Frequency Control IEEE Transactions on, 2010, 57(6): 1329−1346.
[22] JENSEN J A, SVENDSEN N B. Calculation of pressure fields from arbitrarily shaped, apodized, and excited ultrasound transducers[J]. Ultrasonics, Ferroelectrics and Frequency Control, IEEE Transactions on, 1992, 39(2): 262−267. doi: 10.1109/58.139123
[23] COBBOLD R S C. Foundations of biomedical ultrasound[J]. Foundations of Biomedical Ultrasound, 2006.
[24] ALIABADI S, WANG Y, YU J. Adaptive scaled Wiener postfilter beamformer for ultrasound imaging[C]//2016 URSI Asia-Pacific Radio Science Conference (URSI AP-RASC), 2016: 1449-1452.
[25] 郭建中, 林书玉. 超声检测中维纳逆滤波解卷积方法的改进研究[J]. 应用声学, 2005,24(2): 97−102. doi: 10.3969/j.issn.1000-310X.2005.02.007 GUO J Z, LIN S Y. A modified Wiener inverse filter for deconvolution in ultrasonic detection[J]. Applied Acoustics, 2005, 24(2): 97−102. (in Chinese). doi: 10.3969/j.issn.1000-310X.2005.02.007
[26] 李静, 乔建民, 王俊奇, 等. 心外膜及心周脂肪体积与颈动脉粥样斑块的关系[J]. CT理论与应用研究, 2017,26(6): 761−768. DOI: 10.15953/j.1004-4140.2017.26.06.13. LI J, QIAO J M, WANG J Q, et al. Correlation of epicardial adipose tissue and pericardial adipose tissue with carotid artery plaque[J]. CT Theory and Application, 2017, 26(6): 761−768. DOI: 10.15953/j.1004-4140.2017.26.06.13. (in Chinese).
-
期刊类型引用(3)
1. 郭杰,蔡爱龙,王少宇,郑治中,李磊,闫镔. 光子计数探测器投影数据噪声的p-范分布统计分析. 光学学报. 2024(03): 102-110 . 百度学术
2. 杨光,高嘉保,韩瑞. 基于深度学习建立模型去除工业CT伪影的技术研究. 无损探伤. 2023(03): 18-22 . 百度学术
3. 丰川. 多层螺旋CT双低剂量扫描在冠状动脉血管成像诊断冠心病中的应用价值. 影像研究与医学应用. 2023(13): 87-89 . 百度学术
其他类型引用(2)