Predicting Lung Nodule Growth with Shape Transformation and Texture Learning
-
摘要:
虽然人工智能在肺结节检测方面已经相当成熟，但对其生长预测的研究仍然有限。准确的生长预测有助于临床决策，为患者随访策略提供信息。本文提出一种新的结节生长预测网络模型，该模型可以在特定时间间隔生成高质量的肺结节图像。模型使用双分支结构对肺结节图像进行特征提取，其中一个分支，利用位移场预测机制，通过体素水平的未来位移估计来学习肺结节的形状转换；另一分支，采用3D U-Net，学习肺结节的纹理变化。随后，对提取的高维特征图通过坐标注意力机制，突出有利的图像特征，再拼接两个分支的结果，输入至特征重建模块得到最终的肺结节生长预测图像。同时，本文引入时间间隔编码模块，将期望的时间间隔纳入网络，从而能够生成不同未来时间点的预测图像。
Abstract:While artificial intelligence has achieved considerable maturity in lung nodule detection, research on growth prediction remains limited. Accurate growth prediction aids clinical decision-making, informing patient follow-up strategies. This paper proposes a novel nodule growth prediction network model that generates high-quality lung nodule images at specific time intervals. The model employs a two-branch structure for feature extraction. One branch, leveraging a displacement field prediction mechanism, models the shape transformation of pulmonary nodules through voxel-level future displacement estimation. The other branch, empowered by a three-dimensional U-Net, focused on learning texture changes within the nodules. A coordinate attention mechanism that emphasizes informative features within the extracted high-dimensional feature map. Subsequently, the outputs of both branches are fused and fed into the feature reconstruction module to generate the final lung nodule growth prediction image. Furthermore, a time interval coding module is introduced to incorporate the desired time interval into the network, enabling the generation of prediction images for different future time points.
-
Keywords:
- lung nodules /
- growth prediction /
- displacement field /
- time interval coding
-
骨质疏松是老年人常见的骨代谢疾病，其特点是骨量降低以及骨微结构丧失，容易引发脆性骨折、疼痛等并发症对进入老年的男性和女性的生活质量存在显著的影响[1]。据流行病学调查，随着骨质疏松患病人数逐年攀升，65岁及以上老年人群中男性患病率为10.9％，女性患病率为51.6％，骨质疏松患者常见的并发症是脆性骨折[2]。
全世界50岁以上人群中，有33％～50％ 的女性和20％ 的男性将经历至少1次骨折；而骨质疏松症流行病学调查结果显示40岁及以上人群中，有高达10.5％ 的男性和9.7％ 的女性患者有椎体骨折[3]。骨质疏松性骨折是骨质疏松症最常见的并发症之一，其根源在于骨质疏松导致的骨质脱钙，从而降低了骨骼的承重能力和牢固性，对患者生活造成了严重的影响[4-6]。
目前，双能X线吸收测量仪（dual energy X-ray absorptiometry，DXA）是测量骨密度（bone mineral density，BMD）最广泛的方法。然而，大量研究已经证明，相较于定量计算机断层扫描（quantitative computed tomography，QCT），DXA在骨质疏松的诊断准确率方面存在不足[7-11]。QCT技术通过评估腰椎椎体的小梁骨体积BMD（vBMD）克服了DXA的局限性，对于骨质疏松症患者的识别显示出很高的敏感性[12]。
根据世界卫生组织在1994年确定的诊断标准，基线标准为正常人群中的BMD峰值，T值<-2.5，SD为骨质疏松；而T值>-1.0，SD为正常；而 -1.0≥T值≥-2.5，SD为低骨量。定量CT骨质疏松症诊断指南将骨密度值>120 mg/cm3诊断为骨密度正常，骨密度值于80～120 mg/cm3范围内诊断为低骨量，骨密度值<80 mg/cm3诊断为骨质疏松[13]。
此外，双层光谱CT（dual-layer spectral CT，DLCT）作为一种新兴的成像技术，通过同时捕捉不同能量的X射线，在不增加辐射的情况下可以更准确地测量骨密度。这种技术能够提供更高的空间分辨率和对比度，增强骨质疏松诊断的可靠性。
之前的许多研究已经报道了QCT和DXA测量的骨密度之间的关系和差异。然而，关于DLCT测量的骨密度值在预测骨质疏松方面的价值，以及与QCT和DXA测量的骨密度之间的关系，相关研究却非常少。因此，本研究旨在比较双层光谱CT、QCT和DXA在骨质疏松症诊断中的精确性与效能，期望通过对这3种方法的系统评估，为临床诊断骨质疏松提供更加可靠的依据，进而改善患者的诊疗效果。
1. 材料和方法
1.1 一般资料
本研究回顾性地从影像存储和传输系统（picture archiving and communication system，PACS）上筛选2022年10月至2022年12月北京积水潭医院脊柱门诊患者30例。
纳入标准：①年龄≥18岁；②脊柱门诊患者；③均在双层光谱 CT上进行了腰椎CT平扫。排除标准：①脊柱中存在原发性或转移性骨肿瘤；②严重的脊柱侧弯；③累及两个以上椎骨的骨折；④脊柱手术后腰椎金属植入物；⑤光谱数据缺失。
本研究方案经北京积水潭医院伦理委员会审查批准（批准号：202112-11-01），知情同意被豁免。
1.2 仪器与方法
选用GE Lunar Prodigy DXA扫描仪（GE医疗集团）和双层光谱CT（飞利浦医疗）对患者L1～L3椎体进行骨密度测量和分析。
双层光谱CT扫描参数：患者检查标准管电压120 kV，管电流125 mA，层厚1 mm，矩阵512×512，螺距1。利用IntelliSpace Portal软件（版本11.1.1，Philips Healthcare）将层厚为1 mm的轴位软组织光谱数据包（spectral base image，SBI）重建出50 keV和150 keV的虚拟单能图像（virtual mono-energetic images，VMI）。
另外，将DLCT扫描得到的1 mm软组织原始图像导入QCT Pro软件（Mindways software，Inc.）进行vBMD值测量。所有检查均未注射造影剂。
在本研究中使用4代QCT校准体模，该体模不需要垫放在患者腰下，可以回顾性获得QCT数据。
1.3 体积BMD值的测量
双层光谱CT产生的所有图像都上传PACS。使用飞利浦后处理功能重建50 keV和150 keV的虚拟单能量图像，然后将单能量图像上传飞利浦开发的插件，将HU值转换为骨密度值并使用开源软件3D slicer（版本5.0.3），通过放置多个圆形感兴趣区域（region of interest，ROI）进行体积骨密度测量。感兴趣区域的高度为9 mm，并绘制成圆柱形横截面，尽量大而不与椎体骨皮质相交或包括密集的骨岛、静脉丛或局部病变。如果椎体骨折，将其替换为相邻的椎体。
为了测量L1～L3椎体的QCT vBMD（mg/cm3），将双层光谱CT产生的常规数据导入QCT pro软件，该方法可以自动分析ROI得出体积BMD值，但如发生识别错误的情况则需手动调整，使ROI大小和上述保持一致（图1）。所有感兴趣区测量由两位观察者独立进行。
![]()
图 1 使用3D slicer在50 keV单能量图像（a）和使用QCT软件在QCT格式图像上进行测量L1-L3体积BMD值（b）Figure 1. L1～L3 bone mineral density (BMD) values measured by the 3D slicer using 50 keV single-energy images (a) and quantitative computed tomography (QCT) software using QCT format images (b)1.4 统计学分析
所有数据均使用SPSS 26.0进行统计分析。使用夏皮洛-威尔克（S-W）进行正态性检验，正态数据使用（均值±标准差）表示，偏态数据使用中位数（上四分位数，下四分位数）表示；使用配对t检验比较双层光谱 CT、QCT和DXA测量的骨密度是否有差异；使用皮尔逊（Pearson）对面积骨密度值和体积QCT值进行相关性分析；使用Fisher确切概率法对双层光谱CT、QCT和DXA测量的骨密度诊断骨质疏松的准确率进行比较以及使用ROC曲线计算双层光谱CT测量的体积骨密度值诊断骨质疏松的敏感度和特异度。P<0.05为差异有统计学意义。
2. 结果
2.1 受检者基本信息分析
经过纳入排除标准，最终纳入30例患者，其中男性15例，女性15例，基本信息见表1。
表 1 患者的一般资料Table 1. General data of the study participants项目 总数（n=30） 女（n=15） 男（n=15） 年龄/岁 60.87±8.77 65.13±7.16 56.6±8.31 身高/cm 165.6±8.48 158.87±4.85 172.33±5.33 体重/kg 65.7±13.91 59.27±9.85 72.13±14.68 BMI/（kg/cm2） 23.80±3.67 23.43±3.42 24.17±4.0 QCT L1/（mg/cm3） 114.06±40.17 102.71±38.52 125.41±39.78 QCT L2/（mg/cm3） 109.07±42.05 94.97±38.27 123.17±42.09 QCT L3/（mg/cm3） 102.77±40.03 90.30±34.37 115.24±42.48 DLCT L1/（mg/cm3） 89.62±30.91 78.93±25.32 100.30±33.07 DLCT L2/（mg/cm3） 87.23±33.69 75.31±29.44 99.15±34.35 DLCT L3/（mg/cm3） 82.72±32.65 69.57±22.78 95.86±36.32 DXA L1 -0.58±1.42 -1.1±1.17 -0.06±1.50 DXA L2 -0.85±1.59 -1.6±1.14 -0.1±1.66 DXA L3 -0.7±1.79 -1.58±1.35 0.19±1.77 QCT均值 108.63±40.35 98.86±22.27 118.45±51.69 DLCT均值 86.52±31.91 79.65±21.55 93.39±39.29 DXA均值 -0.71±1.56 -1.21±1.27 -0.21±1.70 注：QCT均值：L1～L3三个椎体基于QCT测量的体积BMD均值；DLCT均值：L1～L3三个椎体基于双层光谱CT测量的体积骨密度均值；DXA均值：L1～L3三个椎体基于DXA测量的BMD均值。 2.2 面积BMD值和体积骨密度值之间的相关性分析
采用Pearson相关性两两分析双层光谱CT、QCT和DXA测量的骨密度之间的相关性，发现三者之间均有极好的相关性（图2）。
![]()
图 2 双层光谱CT、QCT以及DXA测量骨密度的相关性Figure 2. Correlations among the BMD measurements of dual-layer spectral CT, QCT, and dual X-ray absorptiometry (DXA)2.3 不同性别和方法骨量异常诊断正确率的差异
无论在男性还是女性中，双层光谱CT测量的体积骨密度值诊断骨量异常的准确率高于QCT和DXA，均有统计学差异；同一方法下，男性和女性之间骨质疏松诊断准确率并无统计学差异（表2）。
表 2 不同性别和方法骨量异常诊断正确率的比较Table 2. Comparison of the diagnostic accuracies of different methods for bone mass abnormalities性别 人数 QCT（n（％）） DLCT（n（％）） DXA（n（％）） P 骨量正常 骨量异常 骨量正常 骨量异常 骨量正常 骨量异常 男 15 7（46.7） 8（53.3） 5（33.3） 10（66.7） 9（60） 6（40） <0.05 女 15 2（13.3） 13（86.7） 1（6.7） 14（93.3） 6（40） 9（60） <0.05 P 0.109 0.169 0.466 2.4 双层光谱CT预测骨质疏松的效能
参照QCT和DXA诊断标准，分别采用双层光谱CT测量L1～L3的平均体积骨密度值，探讨双层光谱CT预测骨质疏松的效能。
本研究中，ROC曲线下面积分别为0.995和0.784；使用QCT诊断标准作为参考标准，发现当体积骨密度值取值为86.7时，其预测骨质疏松具有较好的准确性，敏感度为90.5％，特异度为88.9％；使用DXA诊断标准作为参考标准时，发现体积骨密度值取值为89.38时，其预测骨骨质疏松具有较好的准确性，敏感度为60％，特异度为93.3％（图3）。
![]()
图 3 根据QCT和DXA诊断标准分别绘制的ROC曲线Figure 3. Receiver operating characteristic (ROC) curves based on QCT and DXA diagnostic criteria3. 讨论
随着人口老龄化加剧，椎体BMD呈下降的趋势，但是人们对骨质疏松以及带来的后果明显认知不足。据调查成年人群对骨质疏松相关知识知晓率仅为11.7％，而50岁以上接受过骨密度检查的人群仅有3.7％，这提示早期对骨质疏松的筛查十分必要[14]。
本研究通过对双层光谱CT和QCT获取的体积骨密度以及DXA测量的面积骨密度值之间的相关性分析，评估了三者对骨质疏松的诊断效能，表明双层光谱CT在骨质疏松中的诊断准确率与QCT相当，但远高于DXA。因此体积骨密度相比面积骨密度诊断骨质疏松有更高的诊断效能。此外，CT技术可以利用大量现有的临床数据进行体积骨密度评估和骨质疏松筛查，因此有潜力成为临床早期筛查骨质疏松的有效辅助方法[15-18]。这不仅有助于提高骨质疏松的早期诊断率，还能够为患者提供及时的干预和治疗，降低骨折风险，改善患者预后。
本研究的结果显示3种方法测量的骨密度之间存在较好的相关性，其中DLCT测量的体积骨密度与QCT测量的体积骨密度之间的相关性更好。主要原因是DXA测量的是二维骨密度，容易受到椎体周围附件以及人体腹部组织的影响，对测量结果造成一定的误差；而QCT和DLCT测量的三维骨密度则避免了上述弊端。这在既往的研究中已有报道，QCT对骨质疏松检测的敏感性略高于DXA，是因为QCT测量的体积骨密度排除了椎体边缘的骨皮质的影响[19-20]。
本组研究病例中女性的年龄略高于男性，因此骨质疏松的检出率相比男性更高，但是在3种方法中，性别之间骨质疏松症的检出率并没有统计学差异。此外，本研究结果显示DLCT和QCT对骨质疏松检出率略微优于DXA。在既往关于体积骨密度（QCT）和面积骨密度（DXA）预测骨质疏松的研究中也报道了同样的结果[19]。表明DXA测量的面积骨密度不能代表整个脊柱的骨质，其结果可能会因为椎体解剖结构变化和退行性改变造成假阴性或假阳性。而双层光谱CT和QCT测量的体积骨密度则避免了上述影响。
本研究结果显示，当分别参照QCT和DXA诊断标准时，双层光谱CT测量的体积骨密度值分别低于86.7 mg/cm3和89.38 mg/cm3时，则预示患者可能出现骨质疏松的情况，表明参照QCT诊断标准诊断骨质疏松的阈值略低于参照DXA诊断标准的阈值。本研究结果和既往研究类似[21-23]。出现这种差异可能是由于两种设备之间测量的骨密度存在差异，以及DXA测量的面积骨密度易受到骨质增生、主动脉粥样硬化以及体质指数的影响，尤其是在老年人中影响更显著。
本研究存在一些限制。①本研究为回顾性研究，因此可能存在选择偏倚；②本研究只使用了DLCT重建的50 keV和150 keV单能量图像去计算骨密度，并没有讨论其他单能量数据的测量结果；③本研究只纳入了 DLCT测量的体积骨密度值，得出的结果可能并不适用于其他CT，临床应用有一定的局限性。
我们认为，上述局限性并不能掩盖本研究结果显示的双层光谱CT在骨质疏松筛查和诊断中的潜在应用前景。由于双层光谱CT易于获得并利用现有临床数据进行骨密度评估，这对于早期骨质疏松的筛查，尤其是老龄人口持续增加的今天，对于骨质疏松性骨折的预防和治疗至关重要。未来的研究可以考虑扩大样本规模，以进一步验证本研究的结果。此外，还可以考虑进行双层光谱CT在不同年龄、性别和骨质疏松程度组的患者检测效果的研究，以更全面地了解其潜在应用价值。同时，研究不同CT设备之间的可比性也值得进一步探讨。
综上所述，本研究通过对双层光谱CT、QCT及DXA在骨质疏松诊断中的精确性与效能进行比较，发现双层光谱CT在诊断骨质疏松方面作用突出，与QCT相当且优于DXA。双层光谱CT不仅在性别差异上表现出一致性，还通过全面的体积骨密度评估，提供了更准确的骨质疏松诊断，有望成为临床早期筛查和诊断骨质疏松的新的重要方法。
-
表 1 实验环境
Table 1 The experimental environment
名称 配置 操作系统 Ubuntu16.04.1 LTS 编程语言 Python3.7.8 AI框架 PyTorch 1.9.0 CPU Intel(R) Core(TM) i7-7820 X CPU @ 3.60 GHz GPU NVDIA GeForce GTX 1080 Ti*2(11 GB*2) 内存 32 GB 
下载: 导出CSV
表 2 实验结果
Table 2 The results of the experiment
方法 PSNR/dB SSIM 基线（3D U-Net） 16.12 0.8056 形状分支 18.09 0.8375 纹理分支 18.20 0.8398 形状+纹理双分支 19.31 0.8513
下载: 导出CSV
表 3 注意力对比实验
Table 3 The attention contrast experiment
方法 PSNR/dB SSIM SE 19.11 0.8479 CA 19.31 0.8513
下载: 导出CSV
表 4 同类方法对比实验
Table 4 Comparative experiment of similar methods
方法 PSNR/dB NoFoNet 18.21 本文 19.31
下载: 导出CSV
-
[1] OUDKERK M, LIU S, HEUVELMANS M A, et al. Lung cancer LDCT screening and mortality reduction: Evidence, pitfalls and future perspectives[J]. Nature Reviews (Clinical Oncology), 2021, 18(3): 135−151. DOI: 10.1038/s41571-020-00432-6.
[2] SHEN W, ZHOU M, YANG F, et al. Multi-scale Convolutional Neural Networks for lung nodule Classication[C]//Information Processing in Medical Imaging: 24th International Conference, UK: Springer, 2015: 588-599.
[3] SHEN W, ZHOU M, YANG F, et al. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification[J]. Pattern Recognition, 2017, 61: 663−673. DOI: 10.1016/j.patcog.2016.05.029.
[4] ZHANG L, LU L, SUMMERS R M, et al. Convolutional invasion and expansion networks for tumor growth prediction[J]. IEEE Transactions on Medical Imaging, 2018, 37(2): 638-648.
[5] RAFAEL-PALOU X, AUBANELL A, BONAVITA I, et al. Re-identification and growth detection of pulmonary nodules without image registration using 3D siamese neural networks[J]. Medical Image Analysis, 2021, 67: 101823. DOI: 10.1016/j.media.2020.101823.
[6] SHENG J, LI Y, CAO G, et al. Modeling nodule growth via spatial transformation for follow-up prediction and diagnosis[C]//2021 International Joint Conference on Neural Networks (IJCNN). Shenzhen: IEEE, 2021: 1-7.
[7] LI Y, YANG J, XU Y, et al. Learning tumor growth via follow-up volume prediction for lung nodules[C]//Proceedings of the 23th International Conference on Medical Image Computing and Computer-assisted Intervention. Peru: Springer, 2020: 508-517.
[8] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-assisted Intervention. Munich: Springer, 2015: 234-241.
[9] BALAKRISHNAN G, ZHAO A, SABUNCU M R, et al. VoxelMorph: A learning framework for deformable medical image registration[J]. IEEE Transactions on Medical Imaging, 2019: 1788-1800. DOI: 10.1109/TMI.2019.2897538.
[10] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011−2023. DOI: 10.1109/TPAMI.2019.2913372.
[11] 唐秉航, 王艳芳, 马力, 等. 基于混合注意力机制的肺结节假阳性降低[J]. CT理论与应用研究, 2022, 31(1): 63−72. DOI: 10.15953/j.ctta.2021.002. TANG B H, WANG Y F, MA L, et al. False positive reduction of pulmonary nodules based on mixed attentional mechanism[J]. CT Theory and Applications, 2022, 31(1): 63−72. DOI: 10.15953/j.ctta.2021.002. (in Chinese).
[12] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.
[13] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600−612. DOI: 10.1109/TIP.2003.819861.
-
期刊类型引用(9)
1. 周雨晴，张佳佳，张广智，蔺营. 致密砂岩储层岩石物理建模及“甜点”预测. 地球物理学进展. 2025(01): 255-265 . 
百度学术
2. 马宝，邵彪，赵昊洋，赵艺，赵东山，武周杰，孙朗秋. 页岩气储层岩石背散射图像中多种组分的人工智能识别. 科技创新与应用. 2025(17): 10-13+19 . 百度学术
3. 汪锐，李芳，刘仕友，孙万元，李松龄，黄晟. 岩石物理建模引导的低渗储层参数预测方法. 煤田地质与勘探. 2024(08): 187-197 . 百度学术
4. 钱佩璋，乔志伟，杜聪聪. 基于3MNet去噪网络的快速EPRI成像. CT理论与应用研究. 2023(01): 55-66 . 本站查看
5. 王迪，张益明，张繁昌，丁继才，牛聪. 利用先验信息约束的深度学习方法定量预测致密砂岩“甜点”. 石油地球物理勘探. 2023(01): 65-74 . 百度学术
6. 张傲，李宗杰，刘军，闫星宇，李伟，顾汉明. 基于Yolox算法的碳酸盐岩储层溶洞“串珠状”异常反射智能检测. 石油地球物理勘探. 2023(03): 540-549 . 百度学术
7. 杜聪聪，乔志伟. 基于对抗式残差密集深度神经网络的CT稀疏重建. CT理论与应用研究. 2022(02): 163-172 . 本站查看
8. 刘仕友，曲福良，周凡，邓利峰. 基于地震属性约简的深度学习储层物性参数预测:以莺歌海盆地乐东区为例. CT理论与应用研究. 2022(05): 577-586 . 本站查看
9. 郑琳. 基于物联网边缘计算的数据挖掘方法研究. 无线互联科技. 2022(15): 140-142 . 百度学术
其他类型引用(23)
计量
- 文章访问数: 154
- HTML全文浏览量: 33
- PDF下载量: 35
- 被引次数: 32
