A Method for Image Bipolar Detail Decomposition Based on the TV/L2 Model
-
摘要: 基于TV/L2模型的总变差最小化方法在图像分解过程中受到正则化参数的影响。本文通过分析发现,当不同于经典模型而设置较小的正则化参数时,分解的图像特性发生了重要改变。据此,本文提出了一种新的基于TV/L2模型的双极性图像细节分解方法,该方法在正则化参数较小的情况下将观测图像分解为一个近似图像分量和两个具有正、负不同极性并反映不同信息的细节图像分量。将这种新的图像分解方法应用于印刷电路板CT图像的处理中。实验结果表明,通过综合利用本图像分解方法得到的图像细节信息,可以在有效抑制金属伪影的同时增强PCB图像中的有用信息。Abstract: The Total Variation (TV) minimization method based on TV/L2 model is affected by the regularized parameter in image decomposition, This paper suggests that when the value of the chosen regularized parameter is small and different from classic methods, the property of the decomposed image will have an important change. According to this, a new method for image bipolar detail decomposition based on the TV/L2 model is proposed in this paper. The new method can decompose an image into an approximate image and two detailed images with different properties, when the value of the regularized parameter is small. Applying the decomposition model to Printed Circuit Board (PCB) CT images, we found that by combining the information in the detailed images, an enhanced image with metallic artifacts being effectively reduced can be acquired.
-
胃癌是最常见的癌症之一,也是全球癌症相关死亡的主要原因之一,仅在2020年就报告了约
769000 例死亡[1]。准确的诊断和评估胃癌是制定治疗方案的基础和提高生存期的关键,而获取胃癌的精准信息通常是由有创的内镜活检获得[2],可能由于经验有限、客观标准及观察者差异而产生误差[3]。胃癌患者的主要治疗方法是手术切除,辅以围手术期化疗、放疗等综合治疗[4],然而根治性切除后的肿瘤复发率仍高达40%[5]。因此,尽可能多地识别预后的预测因素有助于制定个性化治疗策略。与传统的人工检查方法相比,影像组学可以通过使用自动数据表征算法将图像数据从感兴趣区域转换为高通量定量特征,提供了处理图像并将其转化为定量数据的新方法,从而能识别人眼看不到的肿瘤的微观特征[6]。
本文中系统地回顾并总结影像组学在胃癌患者预后预测的作用,重点从淋巴结状态、腹膜转移、神经及淋巴血管浸润、人类表皮生长因子受体2(human epidermal growth factor receptor 2,HER2)表达,以及术后生存期方面进行综述,展望基于人工智能的胃癌患者预后预测研究中面临的挑战和机遇,供未来研究参考。
1. 影像组学在预测淋巴结状态中的应用
胃癌最佳治疗策略的选择主要基于肿瘤−淋巴结−转移(tumor lymph node metastasis,TNM)分期系统。通过对肿瘤浸润深度(T)、淋巴结累及(N)和远处转移(M)的程度的评估来制定胃癌患者的治疗方式。淋巴结转移状态不仅对于选择胃癌的最佳治疗方案尤为重要,也是影响胃癌患者生存和术后肿瘤复发的重要预后因素[7-8]。
Wang等[9]纳入247例进展期患者并收集了术前动脉期CT图像进行病灶分割并提取特征,采用随机森林算法构建了影像组学模型,结合影像组学评分和临床预测因子评估模型效果,结果显示影像组学模型在训练集和验证集曲线下面积(area under the curve,AUC)值分别为0.844(95% CI:0.759~0.909)、0.837(95% CI:0.705~0.926),准确率为80%(灵敏度为90%;特异性为71%)和84%(敏感性为86%;特异性为77%)。Gao等[10]从早期胃癌患者的门静脉期CT图像中提取影像组学特征,利用最小绝对收缩和选择算子方法(least absolute shrinkage and selection operator,LASSO),通过多因素Logistic回归分析构建与CT淋巴结状态相结合的影像组学模型,在训练集和验证集AUC值分别为0.91(95% CI:0.87~0.95)和0.89 (95% CI:0.84~0.95)。
与前两者不同的是,Zhang等[11]利用卷积神经网络提取深度学习特征,并选择了一个最佳模型与影像组学模型比较,结果验证集的AUC值为0.796(95% CI:
0.7150 ~0.865),准确率为75.2%(95% CI:67.2%~81.5%),而影像组学模型的准确率为0.704(0.625~0.783)和61.8%(54.5%~69.9%),表明深度学习模型预测性能优于传统机器学习模型。Chen等[12]纳入进展期胃癌患者的3.0 T磁共振成像(magnetic resonance imaging,MRI)图像,采用LASSO算法和学习向量量化方法来选择影像组学特征,结合独立的临床预测因素建立影像组学模型,结果显示影像组学模型显示出良好的淋巴结状态判别性能(AUC值为0.857,准确率为0.851,特异性为0.846,灵敏度为0.853)。
上述研究结果表明,不论是早期胃癌亦或是进展期胃癌中,CT影像组学在预测胃癌淋巴结转移方面表现出良好的性能,影像组学在胃癌淋巴结转移的精准预测中具有潜在优势,其中基于MRI的影像组学模型还取得了和基于CT建立的影像组学模型相似的性能。
2. 影像组学在预测HER2状态中的应用
HER2与晚期胃癌预后不良相关[13]。已有研究证实,HER2过表达是胃癌发生的重要驱动因素[14]。曲妥珠单抗联合标准化疗可显著提高HER2阳性晚期疾病的总生存率[15]。HER2阳性程度越高,治疗效果越好。因此,精准识别HER2的状态对胃癌的治疗至关重要[16]。
Li等[17]收集了胃癌患者的图像,应用LASSO选择特征,结合影像组学特征和癌胚抗原(CEA)水平的构建的预测模型,结果显示训练集的AUC值为0.799(95% CI:0.704~0.894),验证集的AUC值为0.771(95% CI:0.607~0.934),这表明该预测模型对HER2状态预测具有良好的判别性能。
Guan等[18]提取了357例胃癌患者的动脉期图像,使用支持向量机和随机森林算法构建模型,结果显示影像组学−支持向量机模型具有良好的分类性能(AUC,训练集:0.807;验证集:0.787)。Guan等进一步使用卷积神经网络提取深度学习特征,结果显示该模型优于影像组学模型(AUC,0.896 vs. 0.787),由此可见深度学习特征可以补充影像组学特征。
Liu等[19]回顾性纳入了90例胃癌患者的18 F-FDG PET/CT图像,采用平衡装袋算法,用7个影像组学特征建立的联合模型预测HER2表达的准确率为83.3%(灵敏度为84.6%,特异性为80%,AUC为72.2%),预后预测模型准确率为77.8%(敏感性为81.8%,特异性为71.4%,AUC为75.3%)。
3. 影像组学在预测腹膜转移中的应用
胃癌的常见转移部位之一是腹膜[20],尤其是发生于晚期胃癌的患者在发现腹膜转移时往往难以救治,然而早期腹膜转移在常规CT图像上难以诊断[21]。因此,发现非侵入性早期检测和诊断隐匿性腹膜转移的工具对于胃癌患者预后具有临床意义,已有研究评估了基于CT的机器学习方法预测隐匿性腹膜转移的价值[22]。
Dong等[23]进行了一项多中心性研究,发现采用诺莫图结合影像组学特征和Lauren分型在预测腹膜转移方面具有较大的应用潜力。在Chen等[24]的研究中,通过对双能CT的门静脉期和延迟期的标准化碘摄取和120 kV等效混合图像(模拟传统CT图像)进行特征提取并分析,研究发现标准化碘摄取衍生的影像组学特征为预测隐匿性腹膜转移提供了价值。
Huang等[25]首先开展了基于CT图像的深度卷积神经网络模型对术前诊断晚期胃癌患者隐匿性腹膜转移的应用价值,他们提出深度卷积神经网络模型显示出良好的准确性,AUC值为0.900(95% CI:0.851~0.953),优于传统临床模型(AUC=0.670,95% CI:0.615~0.739;P < 0.001)。在一项纳入
1978 例胃癌患者的多中心研究中,Jiang等[26]开发了一种具有长−短连接的深度卷积神经网络模型来预测隐匿性腹膜转移,与传统的卷积神经网络相比,他们的模型包含了一个长连接,便于提取多水平肿瘤特征,然后将这些特征集中进行预测,模型的最佳AUC值为0.946,取得了较好的性能。鉴于手动勾画感兴趣区域耗时且存在差异性,而邻近的非肿瘤组织也可以提供丰富的肿瘤发生信息,Liu等[27]应用边界盒法(包括肿瘤和肿瘤周围区域),建立了腹膜转移预测模型,该影像组学模型的AUC值为0.873(95% CI:0.820~0.940),显著优于感兴趣区域模型(AUC:0.781(95% CI:0.710~0.863);P=0.047)。
4. 影像组学在预测术后生存期中的应用
胃癌的预后预测主要依赖于传统的TNM(肿瘤、淋巴结和转移)系统。手术切除对于大多数Ⅰ~Ⅲ 期和部分IV期胃癌患者仍然是主要的治疗措施,但由于胃癌具有高度异质性,术后切除的胃癌患者5年生存率仍不足33%。因此,以下研究调查和分析了基于影像组学和深度学习的方法预测胃癌生存和复发风险的潜力及其附加价值。
Li等[28]发现影像组学结合临床病理危险因素可以有效预测胃癌根治患者的总生存率(overall survival,OS)。Jin等[29]提出了预测胃癌患者无病生存率(disease-free survival,DFS)和OS的影像组学模型,与TNM分期相结合显著增强了预后能力。Shin等[30]在420例局部进展期胃癌患者中探讨了基于CT的影像组学特征与无复发生存率(recurrence-free survival,RFS)之间的关系,影像组学特征和重要临床特征组成的联合模型比单独的影像组学模型及临床特征模型显示出更好的准确性。
Jiang等[31]利用一种名为“S-net”的新型深度神经网络集成了综合多尺度图像特征来预测进展期患者的DFS和OS。与传统的卷积神经网络架构不同,S-net模型可以有效地提取和整合全面的多尺度图像特征,从而能够彻底了解复杂的肿瘤表型,为个性化诊疗提出依据。Zhang等[32]进一步提出了一种多焦点融合特征金字塔网络,将分离的低层次特征与融合的高层次特征统一起来。在该模型中,学者设计了一种新的串级连接策略,从自下而上的路径中提取单个和融合的底层特征,该模型表现出比传统机器学习方法更好的预测性能。
Chen等[33]纳入胃癌患者的MRI图像,用T2WI、ADC和动态对比增强MR成像的静脉期构建Rad-score,使用多因素回归分析建立MRI影像组学列线图,在训练集和验证集中的AUC值分别为0.844(95% CI:0.749~0.914)、0.820(95% CI:0.695~0.910),结果显示基于MRI的影像组学列线图在预测胃癌患者生存期中有一定的效能。
5. 影像组学在预测神经及淋巴血管浸润中的应用
淋巴管血管侵犯(lymphovascular invasion,LVI)指淋巴和/或血管的侵袭,既是胃癌患者早期复发的独立危险因素[34],也是肿瘤远处转移的危险因素。神经周围浸润(perineural invasion,PNI)是癌症细胞局部扩散的重要途径之一,术前难以识别。因此,术前精准预测PNI及LVI状态对胃癌患者预后有重要意义。
Yardımci等[35]收集了门脉期CT图像的纹理特征得到了LVI和PNI的5个纹理特征,使用8种机器学习算法进行模型预测,其中预测LVI的平均AUC值和准确率范围分别为0.777~0.894和76%~81.5%,预测PNI的平均AUC值和准确率范围分别为0.482~0.754和54%~68.2%,结果显示随机森林和朴素贝叶斯算法分别对LVI和PNI的预测效果最好。
在另一项研究中,Chen等[36]从160例胃癌患者动脉期、静脉期和动静脉期结合的图像中提取和筛选了影像组学特征180个,采用多因素Logistic回归构建了3种影像组学预测模型,而将T期、N期分别纳入预测模型后,训练集和验证集的整体预测能力得到了提升,AUC值分别为0.856和0.792。
Jia等[37]纳入了胃癌患者的动脉期CT图像,最终选取了15个影像组学特征建立模型,进一步结合临床病理因素建立联合模型,训练集的AUC值为0.851(95% CI:0.769~0.933),验证集的AUC值为0.842(95% CI:0.713~0.970),验证集的AUC值为0.813(95% CI:0.672~0.954)。
He等[38]将纳入患者分为LVI组和PNI组,提取患者的静脉期CT图像影像特征,使用最小绝对收缩和LASSO回归方法选择特征,构建了临床模型、影像组学模型和联合模型3种预测模型。在LVI组中,联合模型的预测能力(AUC=0.871,0.822)在训练组和验证组中均优于临床模型(AUC=0.792,0.728)和影像组学模型(AUC=0.792,0.728)。在PNI组中,无论是训练组还是验证组,联合模型(AUC=0.834,0.828)的预测能力也优于临床模型(AUC=0.764,0.632)和影像组学模型(AUC=0.764,0.632)。联合模型在LVI和PNI预测方面显示出良好的校准和临床实用性。
6. 局限性与未来展望
人工智能在胃癌预后预测中具有极大的潜力和优势,为个体化精准治疗提供重要价值。但目前还存在一些问题。
(1)部分研究中的感兴趣区域无法代表整个肿瘤,尤其是当从2D或3D图像中提取的影像组学特征可能会受到影响,未来三维成像的模型可能会进一步提高效能。
(2)目前关于图像采集、处理和机器学习方法并没有统一的标准,例如CT扫描时间、扫描仪CT参数、手动勾画感兴趣区域、特征提取方法等都会对结果造成差异,即使采用最先进的深度学习方法,精准地对肿瘤进行分割仍然是一项具有挑战性的任务,为此有团队推动了图像生物标志物标准化倡议,并提供了标准化的放射组学功能来校准不同的软件[39]以减少结果偏差,同时诊断准确性研究报告标准(standard for reporting of diagnostic accuracy studies,STARD)建议对研究进行结构化报告[40],但统一标准的可行性仍有待考证。
(3)机器学习的固有局限在于它的决策过程十分复杂,临床实践中对于模型做出的预测以及原理难以理解,故难以广泛应用[41]。为了将人工智能模型转化为常规临床实践,以及为人工智能模型提供更透明、可解释的方式,目前有学者提出了解释性人工智能(explanatory artificial intelligence,XAI),未来在医学诊断中的应用还有待发展。
(4)不同种族群体中胃癌患者的患病率存在差异,比如亚洲人群的胃癌发病率高于西方国家,而影像组学模型应当在不同种族群体中经过严格验证和更多的外部验证。
(5)关于淋巴结转移的影像组学研究,目前仍以淋巴结阴性和淋巴结阳性的二分类为主,未来需要进一步完善影像组学在预测淋巴结转移的详细分期(N1-N3b)和解剖位置中的作用。
(6)目前多数研究都是回顾性、单中心性,可能会导致模型的过度拟合,未来可以开展大样本、多中心研究建立数据集确保模型的准确性。
人工智能工具对诊断准确性的提高和放射科医生工作量的减少显示出较大的优势。然而,人工智能的目标不是取代人类,而是帮助临床医生在实践中做出决定。因此,放射科医生应该在人工智能应用中发挥主导作用,并探索在临床实践中整合这些互补技术的最佳方式。

下载:
