False Positive Reduction of Pulmonary Nodules Based on Mixed Attentional Mechanism
-
摘要:
为了解决肺结节CAD系统候选结节检测阶段高假阳性问题，本文提出一种基于混合注意力机制的肺结节假阳性降低方法。该方法可作为目前假阳性降低阶段最常用的3D CNN分类模型的替代方案，能有效回避3D CNN模型参数量及计算量大的问题。该方法将三维候选结节切片数据看作切片序列，使用时序分割模型，结合改进的包含混合注意力模块的2D Resnet-18骨干网络，在使用2D CNN的基础上，有效学习三维切片数据的时空特征。相对于3D CNN结构的肺结节分类模型，本文提出的方法在降低模型参数量和推理时间的基础上，提高了结节分类的准确率。
Abstract:In order to solve the problem of high false positives in the candidate detection stage of pulmonary nodules CAD system, this paper proposes a method to reduce false positives of pulmonary nodules based on mixed attention mechanism. The method can be used as an alternative to the most commonly used 3D CNN classification model at the stage of false positive reduction. It can effectively avoid the problems of large number of parameters and computation in 3D CNN model. In this method, the 3D candidate nodule data is viewed as a slice sequence, and the temporal segment networks model is used in combination with the improved 2D ResNet-18 backbone network which contains mixed attention modules. On the basis of using 2D CNN, the spatial and temporal characteristics of the 3D slice data are effectively studied. Compared with the 3D CNN structure model for pulmonary nodules classification, the method proposed in this paper not only improves the accuracy of nodules classification but also reduces the number of model parameters and the inference time.
-
Keywords:
- temporal segment networks /
- mixed attention /
- pulmonary nodules
-
肝硬化再生结节供血不足时即可发生缺血性坏死，称为再生结节梗死或缺氧性假小叶坏死，这些病变最初由Edmondson报道，1992年Fukui等[1]首次报道其超声和CT表现。既往报道涉及肝硬化再生结节梗死的影像学表现，以及影像学和病理之间的关系，但很少有研究分析肝硬化再生结节梗死的CT或MR影像表现及其在影像学随访过程中的变化，很少有报道明确指出它与肝脏肿瘤性病变，特别是肝细胞癌（hepatocellular carcinoma，HCC）之间的鉴别[2-4]。
由于大多数HCC发生在肝硬化患者中，认识肝硬化患者中再生结节梗死的CT或MRI表现是非常重要的，以避免额外的不必要的诊断或治疗。本研究的目的是分析肝硬化静脉曲张出血后再生结节梗死的CT和MRI表现及其在影像学随访过程的变化，并与其他肝脏局灶性病变（尤其是HCC）鉴别。
1. 资料与方法
1.1 临床资料
自2015年1月至2021年11月，共收集21名被诊断为肝硬化静脉曲张出血后再生结节梗死的患者纳入本研究。其中包括13名男性和8名女性，年龄在44岁到72岁之间，平均年龄（57±7.23）岁。患者均因消化道出血而入院。本次回顾性研究由我院机构评审委员会批准。
1.2 检查方法
所有患者在入院前后5天内行CT或MRI检查，所有患者检查前均有消化道出血症状，包括呕血、黑便等症状。CT检查采用飞利浦公司256层螺旋CT扫描仪，成像参数为：管电流260 mAs，管电压120 kV，层厚5 mm，层距5 mm，螺距0.6 mm。扫描前进行屏气训练，行平扫及动态增强扫描，扫描时间动脉期为注射对比剂后29 s，门脉期及延迟期分别为注射对比剂后为60 s和180 s。对比剂为碘佛醇（恒瑞药业），注射速率为3 mL/s，对比剂注射剂量为1.5 mL/kg。
MRI检查使用飞利浦公司3.0 T MR扫描仪（Achieva，32通道相控阵体线圈），扫描序列包括T2WI、DWI、T1WI平扫及动态增强，扫描参数：T2WI：TR 2000 ms，TE 70.0 ms，层厚5.0 mm，层间距1.0 mm，矩阵250×230。DWI：TR 3000～5000 ms，TE 55.0 ms，层厚5.0 mm，层间距1.0 mm，矩阵128×160。T1WI：TR 3 ms，TE 1.5 ms，层厚2.5 mm，层间距0 mm，矩阵250×230。
扫描范围膈顶至双肾下极水平，扫描前对患者进行常规屏气训练，行平扫及动态增强扫描，扫描时间动脉期为注射对比剂后18 s，门脉期及延迟期分别注射对比剂后为60 s和180 s，对比剂为钆喷酸葡胺，注射速率为2 mL/s，对比剂注射剂量为0.2 mL/kg。
1.3 图像分析
所有的图像由两名具有8年和10肝脏临床实践经验的放射科医生联合评估，并在阅片的过程中达成共识。两位医师分析了肝脏病变的大小、数量、边界（边界不清楚或清楚）、形状（圆形、不规则）、分布（散在或成簇）、位置（肝包膜下或非包膜下）、信号强度/密度，以及强化模式。肝包膜下分布定义为肝包膜2 cm内的区域。在T1WI和T2WI图像上，病变相对于周围肝实质的信号强度/密度记录为3种类型：低信号/密度、等信号/密度、高信号/密度。
2. 结果
2.1 患者的临床特征
所有患者均有肝硬化病史，肝硬化的原因包括乙型肝炎肝硬化（n=17）、丙型肝炎肝硬化（n=1）、酒精性肝硬化（n=3），其中有3名患者有肝癌手术史。所有患者均因静脉曲张（食管或胃底静脉曲张）导致消化道出血入院。所有患者肝功能检查结果均异常升高（包括谷丙转氨酶、谷草转氨酶、总胆红素、白蛋白），而肿瘤标志物（甲胎蛋白、癌胚抗原）正常。所有病例均进行随访，随访时间为2天至24个月，平均13个月（表1）。
表 1 患者的临床基本资料Table 1. The basic clinical data of the patients类别 结果 男性︰女性 13︰8 平均年龄/岁 57±7.23 肝硬化原因（乙型肝炎︰丙型肝炎︰酒精性） 17︰1︰3 肝癌史（有︰无） 3︰18 肝功能（正常︰升高） 0︰21 肿瘤标志物（正常︰升高） 21︰0 2.2 患者的影像特征
所有患者均行两次或两次以上CT或MRI检查，其中4例患者行CT检查，8例患者行CT和MRI检查，9例患者行MRI检查。
2.2.1 病变部位
首次行腹部CT或MRI增强检查时，大部分病变位于肝包膜下区域（76.2％（16/21）），少数病变位于肝脏的中心（4.8％（1/21））或者两者皆有（19％（4/21））。大部分病变呈簇状聚集分布（85.7％（18/21）），只有3例病变呈散在分布（14.3％（3/21））（表2）。在21例中，局限于肝脏的一段有2例，局限于肝脏两段的有7例，分布于肝脏3段及以上的有12例。
表 2 结节特征Table 2. Characteristics of the nodules类别 结果 结节形状（圆形︰不规则形） 88.8％︰12.2％ 结节数目（≤10︰11～30︰31～50︰＞50） 3︰8︰7︰3 结节大小（≤0.5 cm︰0.6～1.0 cm︰1.1～2.0 cm︰≥2.1 cm） 22.5％︰51.3％︰25.8％︰0.4％ 边缘（清楚：不清） 15︰6 位置（肝包膜下︰中心︰两者皆有） 16︰1︰4 分布（聚集：散发） 18︰3 强化方式（无强化︰边缘轻度强化） 80.6％︰19.4％ CT平扫 等密度或稍低密度 T1WI信号 等信号或稍低信号 T2WI信号 高信号 DWI 稍高信号或等信号 2.2.2 病变的形态大小及数目
在CT或MRI成像中，几乎所有的肝硬化再生结节梗死呈圆形，在21例中，只有12.2％ 的再生结节梗死形状不规则。3例患者病灶在10个及以下，8名患者有11～30个结节，7名患者有31～50个结节，3名患者有50个以上结节（结节范围3～60个）。总的来说，19名患者（90.5％（19/21））有10个以上的再生结节梗死；肝硬化再生结节梗死的直径在3～26 mm（平均10 mm）；大部分结节（73.8％）直径小于等于10 mm（表2）。
2.2.3 病变的CT及MRI表现
这些结节通常边缘清晰（71.4％（15/21）），CT和MRI动态增强后，大部分结节（80.6％）未见明显强化，少数结节（19.4％）可以有边缘轻度强化。在CT平扫图像上，所有结节成等密度或稍低密度。在平扫T1WI所有结节成等信号或稍低信号。在T2WI大部分结节为边界限清晰的高信号，部分病灶呈成靶样改变，表现为中心区域为高信号，内缘为稍高信号或等信号，外缘为高信号。DWI图像上所有结节呈稍高信号或等信号（表2、图1和图2）。所有病例均进行随诊复查，时间最短的为2天，最长为24个月，在CT和MRI随访过程中，13例患者病灶消失，8例患者病灶缩小或明显减少（图3）。
![]()
图 1 女，67岁，乙肝肝硬化患者30余年，消化道出血14 h（a）～（d）分别是CT平扫、动脉期、门脉期、延迟期，图像显示肝内多发小结节状、类圆形低密度灶，呈簇状分布，多位于肝包膜下，直径约5～13 mm，增强后大部分病灶未见明显强化，少部分边缘轻度强化。Figure 1. Imaging of a 67-year-old female Hepatitis B cirrhosis patient of more than 30 years, who was admitted within 14 h of gastrointestinal bleeding![]()
图 2 男，46岁，乙肝肝硬化患者10余年，上消化道出血16 h（a）～（d）分别是CT平扫、动脉期、门脉期、延迟期示肝内多发小结节状、类圆形低密度灶，呈簇状分布，多位于肝包膜下，直径约10 mm，增强后病灶未见明显强化、呈低密度。（e）～（h）为该患者入院后4天行MRI检查，（e）为T2WI示肝内多发小结节状类圆形高信号灶，（f）为DWI示病灶呈稍高信号，（g）为T1WI平扫示病灶呈稍低信号，（h）为增强后门脉期示病灶未见强化呈低信号。Figure 2. Imaging of a 46-year-old male Hepatitis B cirrhosis patient of more than 10 years, who was admitted within 16 h of gastrointestinal bleeding![]()
图 3 为图1同一患者MRI检查（a）和（b）为T2 WI、DWI显示肝内多发小结节状、类圆形高信号灶，呈簇状分布，多位于肝包膜下。（c）和（d）为该患者一年后随访复查，肝内病灶全部消失。Figure 3. MRI examination of the same patient as in Figure 13. 讨论
肝硬化再生结节梗死是一种罕见的表现，其病理特征是由凝固性坏死、未坏死的活性组织、纤维间隔及病灶周围炎性改变、小血管及水肿组成。据推测，肝硬化再生结节梗死是由于失血或休克后门静脉和动脉血流突然减少，肝脏的血供减少引起的，大多数的患者有过胃肠道出血的病史，如静脉曲张出血[5-6]。
本研究中，所有病例在行CT或MRI检查随访的过程中，病变消失或明显减少、缩小，因此，推测肝硬化静脉曲张出血导致的短暂缺血的再生结节，部分病灶并非完全梗死，在出血发作后可以恢复灌注，这类似于梗死脑组织周围的缺血半暗带，可以恢复血液灌注。这一观点得到了以往的一篇报道支持，该报道显示CT或MRI上的肝硬化再生结节梗死，经组织学证实为缺血结节，但该结节有存活组织或纤维化组织伴有重建的血管[7]。Kim等[8]报道了3例肝硬化消化道出血后多发再生结节梗死，在经过2个月或3个月的随访，复查CT图像上所有结节均消失。
虽然本研究中的病灶未经手术切除病理证实，但由于以下原因，可以诊断所有病例均为肝硬化再生结节梗死。首先，所有病例均有CT或MRI动态增强图像，其影像学表现均较典型，与以往报道的病例一致[9-12]；其次，所有病例均进行了随访复查，在随访过程中所有病灶消失（13例）或减少、缩小（8例），这表明这些病变均是良性的；最后，所有患者甲胎蛋白及CEA系列均正常，临床上未找到存在肝细胞肝癌或其他恶性肿瘤依据。
此外，在CT或MRI检查前，所有患者均在入院前出现了消化道大出血。当然由于本研究是回顾性分析，存在一定局限性，所有病例的CT或MRI随访周期不固定，从几天至几年，因此，我们无法确定肝硬化再生结节梗死消失的具体时间。
肝硬化多发再生结节梗死在影像学上具有一定特征，病灶多位于肝脏周边部或包膜下，且呈多发的聚集性成簇状分布，病灶通常较小、形态规则、呈类圆形，大部分病变直径小于等于10 mm，平扫呈边界清楚的低密度/低信号。增强后大部分病灶未见强化、少数呈边缘轻度强化，并且病灶短期内变化较快。在影像复查中，病灶会消失、缩小或明显减少，因此可以对肝硬化多发再生结节梗死明确诊断。
在肝硬化背景下，再生结节梗死有时候与弥漫性HCC或肝转移瘤鉴别存在一定困难，两者都可以表现为低密度结节，增强后强化不明显[13-15]。但是，本研究中肝硬化静脉曲张出血后再生结节梗死具有一定的特异性，所有结节在CT平扫上呈低密度，增强后呈低强化结节或周围边缘轻度强化，并且结节的密度接近于囊肿密度，比肝转移瘤或弥漫性HCC密度更低。T1WI图像上肝硬化再生结节梗死呈等信号或稍低信号，而转移瘤或弥漫性HCC呈明显的低信号，信号要低于肝硬化再生结节梗死。
另外，结节多为成簇分布、多分布于肝包膜下。最重要的一点是肝硬化再生结节梗死在随访的过程中消失或减少缩小，而弥漫性HCC或肝转移瘤则是进展。而临床病史及肿瘤指标对肝硬化再生结节梗死与弥漫性HCC或肝转移瘤也是重要的鉴别点之一。肝硬化再生结节梗死与肝硬化再生结节（hepatic cirrhosis regenerative nodule，RN）和不典型增生结节（dysplastic nodule，DN）的鉴别，前者具有一定的诱因，因消化道出血而形成，并且短期内变化迅速、减少或缩小，在影像上表现为成簇状多发于肝包膜下。而RN在CT上表现为弥漫分布的等高密度结节，增强后动脉期不强化，门静脉期及延迟期轻度强化，在T1WI上呈等或略高信号，T2WI上呈等或略低信号，DWI呈等信号，随访中病灶不变或者增大。DN在CT上表现为低密度结节，增强后动脉期轻度强化，门静脉及延迟期持续强化，在T1WI上呈等或略低信号，在T2WI上呈等或略高信号，DWI上呈等或略高信号，在随访过程中病灶增大、T2WI及DWI上信号逐渐增高。
总之，肝硬化患者静脉曲张出血后再生结节梗死在CT和MRI上具有一定的特征，通过影像随访、临床病史、肿瘤指标可有助于与肝脏恶性肿瘤相鉴别。
-
1 注意力消融实验
模型 参数量/M 召回率/％ 精确率/％ Baseline 11.17 97.52 98.24 Ours w/o ME 11.33 98.01 98.88 Ours w/o CA 11.30 98.05 98.93 Ours w/o SE 11.33 97.97 98.82 Ours（SE+ME+CA） 11.39 98.23 99.18 
下载: 导出CSV
表 1 注意力消融实验
Table 1 Attention ablation experiment
模型 参数量/M 召回率/％ 精确率/％ Baseline 11.17 97.52 98.24 Ours w/o ME 11.33 98.01 98.88 Ours w/o CA 11.30 98.05 98.93 Ours w/o SE 11.33 97.97 98.82 Ours（SE+ME+CA） 11.39 98.23 99.18
下载: 导出CSV
2 本文模型与3D CNN基准比较
模型 参数量/M 召回率/％ 精确率/％ 推理时间/（s/单结节） 3D Resnet-18 33.16 97.95 98.81 0.011 Ours（SE+ME+CA） 11.39 98.23 99.18 0.005
下载: 导出CSV
表 2 本文模型与3D CNN基准比较
Table 2 Comparison between the model in this paper and the 3D CNN benchmark
模型 参数量/M 召回率/％ 精确率/％ 推理时间/（s/单结节） 3D Resnet-18 33.16 97.95 98.81 0.011 Ours（SE+ME+CA） 11.39 98.23 99.18 0.005
下载: 导出CSV
-
[1] HAN F, WANG H, ZHANG G, et al. Texture feature analysis for computer-aided diagnosis on pulmonary nodules[J]. Journal of Digital Imaging, 2015, 28(1): 99−115. doi: 10.1007/s10278-014-9718-8
[2] 张婧, 李彬, 田联房, 等. 结合规则和SVM方法的肺结节识别[J]. 华南理工大学学报(自然科学版), 2011,39(2): 125−129, 147. ZHANG J, LI B, TIAN L F, et al. Lung nodule recognition combining rule-based method and SVM[J]. Journal of South China University of Technology (Natural Science Edition), 2011, 39(2): 125−129, 147. (in Chinese).
[3] SETIO A, CIOMPI F, LITJENS G, et al. Pulmonary nodule detection in CT images: False positive reduction using multi-view convolutional networks[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1160−1169. doi: 10.1109/TMI.2016.2536809
[4] ARMATO S G, ROBERTS R Y, MCNITT-GRAY M F, et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): A completed reference database of lung nodules on CT scans[J]. Academic Radiology, 2007, 14(12): 1455−1463. doi: 10.1016/j.acra.2007.08.006
[5] 高慧明, 赵涓涓, 刘继华, 等. 多尺度卷积神经网络用于肺结节假阳性降低[J]. 计算机工程与设计, 2019,40(9): 2718−2724. GAO H M, ZHAO J J, LIU J H, et al. Multi-scale convolutional neural network for pulmonary nodule false positive reduction[J]. Computer Engineering and Design, 2019, 40(9): 2718−2724. (in Chinese).
[6] SETIO A A A, TRAVERSO A, de BEL T, et al. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: The LUNA16 challenge[J]. Medical Image Analysis, 2017, 42: 1−13. doi: 10.1016/j.media.2017.06.015
[7] 王尚丽, 金戈辉, 徐亮, 等. 基于三维密集网络的肺结节检测方法[J]. 中国生物医学工程学报, 2020,39(1): 8−18. doi: 10.3969/j.issn.0258-8021.2020.01.02 WANG S L, JING G H, XU L, et al. Method for detecting pulmonary nodules based on three-dimensional dense network[J]. Chinese Journal of Biomedical Engineering, 2020, 39(1): 8−18. (in Chinese). doi: 10.3969/j.issn.0258-8021.2020.01.02
[8] HUANG G, LIU Z, LAURENS V, et al. Densely connected convolutional networks[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 2261-2269.
[9] WANG L, XIONG Y, ZHE W, et al. Temporal segment networks for action recognition in videos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(11): 2740−2755. doi: 10.1109/TPAMI.2018.2868668
[10] LIN J, GAN C, HAN S. TSM: Temporal shift module for efficient video understanding[C]// IEEE/CVF International Conference on Computer Vision (ICCV), 2019: 7082-7092.
[11] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770-778.
[12] HU J, SHEN L, ALBANIE S, et al. Squeeze and excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011−2023. doi: 10.1109/TPAMI.2019.2913372
[13] LI Y, JI B, SHI X, et al. TEA: Temporal excitation and aggregation for action recognition[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020: 906-915.
[14] WANG Z, SHE Q, SMOLIC A. ACTION-Net: Multipath excitation for action recognition[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021: 13214-13223.
[15] HOU Q, ZHOU D, FENG J. Coordinate attention for efficient mobile network design[C]// Computer Vision and Pattern Recognition (CVPR), 2021: 13713-13722.
计量
- 文章访问数: 314
- HTML全文浏览量: 162
- PDF下载量: 41
