ISSN 1004-4140
CN 11-3017/P

X射线成像和深度学习的交叉融合

王革

王革. X射线成像和深度学习的交叉融合[J]. CT理论与应用研究, 2022, 31(1): 1-12. DOI: 10.15953/j.ctta.2021.053.
引用本文: 王革. X射线成像和深度学习的交叉融合[J]. CT理论与应用研究, 2022, 31(1): 1-12. DOI: 10.15953/j.ctta.2021.053.

X射线成像和深度学习的交叉融合

详细信息
    作者简介:

    王革: 男,博士,美国伦斯勒理工学院生物医学成像中心主任、Clark & Crossan讲席教授。致力于医学成像和人工智能,尤其是深度学习领域的研究。1991年他发表了第一个螺旋锥束CT重建方法,并在该领域发表了许多后续论文,锥束螺旋扫描已经成为当前临床CT最主要的扫描方式。2016年,他首次提出了深度学习断层成像的线路图,并在这一领域发表了一系列的论文。多年来,他在PNAS、Nature、Nature Machine Intelli-gence、Nature Communications和其他知名期刊上发表了500多篇期刊论文。他获得多项荣誉,包括IEEE EMBS学术生涯成就奖(2021年)、IEEE Region 1杰出教学奖(2021年)、SPIE Aden and Marjorie Meinel技术成就奖(2022年),是IEEE、SPIE、AAPM、OSA、AIMBE、AAAS和NAI的Fellow,E-mail: wangg6@rpi.edu

  • 中图分类号: O  242;TP  391.41

  • 摘要:

    作为人工智能(artificial intelligence,AI)的主流,深度学习在计算机视觉、图像多尺度特征提取领域已有所进展。2016年以来,深度学习方法在计算机断层成像(从积分特性,如线积分,实现内部结构的图像重建)方面也取得了进步。总体而言,在人工智能领域,尤其是基于人工智能的成像领域,令人兴奋的前景和挑战并存,包括准确性、鲁棒性、泛化性、可解释性等一系列问题。基于2021年8月2日SPIE Optics+Photonics上的大会邀请报告,本文介绍X射线成像和深度学习的背景,低剂量CT、稀疏数据CT、深度影像组学的代表性成果,讨论对于X射线CT、其他成像模式以及多模态成像而言,数据驱动和模型驱动方法融合带来的机会,以期显著促进精准医疗的进步。

  • 经导管主动脉瓣置入术(transcatheter aortic valve implantation, TAVI)目前是治疗有症状主动脉瓣病变的主要方式之一[1],其适用人群逐渐从老年高风险患者逐步扩展到中、低风险及较年轻患者[2-4]。预计未来会有越来越多的主动脉瓣病变患者接受TAVI治疗。主动脉瓣疾病是一种心肌及主动脉瓣本身的进行性疾病,左心室持续压力过载,导致心脏重构,最终导致心肌纤维化[5],这是患者心功能障碍的关键决定因素[6-7]。随着疾病的进展,包括纤维化在内的病理改变会变得无法控制,可能导致心脏功能障碍,显著提高心肌梗死和心力衰竭的风险,甚至术后导致心功能进一步受损,预后不良[8],因此,评估心肌改变对于考虑合适的治疗策略和预测预后至关重要。

    心脏成像技术的快速发展使得心肌细胞外容积(extracellular volume, ECV)可以无创地评估心肌改变。利用心脏磁共振(Cardiovascular magnetic resonance, CMR)得到的细胞外容积(MRI-ECV)已成为评估心肌纤维化的无创参考标准[9],随着CT技术的发展,利用CT测量的细胞外容积(CT-ECV)发展成为一种稳健可靠的替代方法,并且与MRI-ECV值的相关性高达0.94[10]。既往研究发现MRI-ECV是接受TAVI手术治疗主动脉瓣狭窄的患者有用的预后指标[11-13]。然而,目前有关CT-ECV预后意义的研究尚少。本研究旨评估双能CT测量的ECV在接受TAVI手术治疗的主动脉瓣病变患者中的预后价值。

    前瞻性纳入了2023年6月至2024年6月期间在河北医科大学第二医院进行TAVI术前影像学评估的主动脉瓣病变患者。纳入标准:①经超声心动图确诊为主动脉瓣膜病变的患者;②具有心脏CT检查3天内红细胞压积(hematocrit, HCT)测定结果的患者;③临床资料完整。排除标准:①心脏旁路移植术后和支架术后患者;②心脏起搏器植入术后患者;③碘对比剂过敏患者。本研究通过河北医科大学第二医院研究伦理委员会的批准。所有研究受试者在检查前均已签署知情同意书。

    采用西门子的第三代双源CT扫描仪(SOMATOM Force,德国,福希海姆)及GE的256排CT扫描仪(Revolution CT,中国,北京)进行数据的采集;对比剂选用碘美普尔注射液(浓度为400 mgI/ml),使用双通道高压注射器完成注射。

    通过查询病历及家属的报告收集符合纳入标准患者的一般临床资料,包括年龄、性别、纽约心脏病协会心功能分级、体质量指数(body mass index, BMI)、病史等情况。同时记录患者心脏CT检查3天内HCT测定结果。通过查询病例或/和与患者电话联系以收集随访数据,包括手术记录、术后住院天数、术后ICU停留天数及术后短期(出院前)不良事件。

    心脏CT图像扫描协议包括:①非增强钙化积分扫描;②心电门控冠状动脉CTA;③双能CT(Dual-Energy, DECT)延迟扫描。延迟时间为注射对比剂后5 min。

    采用西门子的第三代双源CT扫描仪延迟扫描的参数:A球管管电压SN150 KV,有效mAs值为 165,B球管管电压90 KV,有效mAs值为 127,同时应用实时动态曝光剂量调制技术(CARE Dose 4 D);准直:192×0.6 mm;机架转速:0.25 s/转,螺距:0.15;层厚:0.6 mm;层间距0.4 mm。将重建的图像数据传至西门子Syngo.Via后处理工作站进行处理。ECV在工作站上测量。使用后处理软件“心脏PBV”获得碘图,在碘图上重建标准心脏的短轴、长轴和四腔心视图。根据美国心脏协会的左心室16段模型,分别在心肌及血池手动绘制感兴趣的区域,以测量心肌及血池的CT值,测量时避开明确心肌局灶性延迟强化的区域和乳头肌,见图1(a)。采用以下公式计算ECV:

    图  1  基于物质分解生成的碘图
    注:根据美国心脏协会的左心室16段模型,分别在心肌及血池绘制感兴趣区。
    Figure  1.  Iodine map based on the material decomposition technique
    $${\mathrm{ E C V}}=(1-E C T) \times\left(\Delta F U_{2}\right) /\left(A F U_{V}\right) \times 100 \% $$ (1)

    这里,HCT是红细胞压积,通过血常规化验得到;∆HUm表示碘图上心肌的叠加衰减值;∆HUb表示碘图上血池的叠加衰减值。叠加衰减值定义为双能技术观察到的含碘造影剂物质分解引起的衰减差异[14-15]

    采用GE的256排CT扫描仪延迟扫描的参数:快速切换KV:80/140 KV;管电流量:370 mAs;旋转时间:0.5 s/转;螺距:0.508;扫描层厚2.5 mm;重建层厚0.625 mm,间隔0.625 mm。将重建的图像数据传至GE AW4.7工作站进行处理。ECV在工作站上测量。使用后处理软件“GSI viewer 3 D”获得碘图,在碘图上重建标准心脏的短轴、长轴和四腔心视图。根据美国心脏协会的左心室16段模型,分别在心肌和血池手动绘制感兴趣的区域,以测量心肌和血池的碘密度,测量时避开明确心肌局灶性延迟强化的区域和乳头肌,见图1(b)。碘图图像中的碘浓度以mgI/cm3表示。采用以下公式计算ECV:

    $$\begin{aligned} {\mathrm{ E C V}}=\;&(1-E C T) \times\left(心机碘含量\right) /\\ &\left(血池碘含量\right) \times 100 \%\end{aligned} $$ (2)

    这里,HCT是红细胞压积,通过血常规化验得到;心肌碘含量为碘图上心肌碘浓度;血池碘含量为碘图上血池的碘浓度。

    采用 SPSS 21.0软件进行统计学分析,若 P<0.05,则认为差异有统计学意义。正态分布数据结果以均值±标准差表示,非正态分布数据以中位数±四分位数表示,采用两独立样本t检验、Mann-Whitney U检验进行比较;计数资料以人数和百分比表示。采用卡方检验和Fisher精确检验进行比较。采用 Spearman相关分析分析天数与ECV和HCT之间的相关性。采用多因素logistic回归分析分析术后短期心血管事件发生的影响因素。

    共收集了78例进行TAVI术前评估的主动脉瓣病变患者,在排除了心脏起搏器植入术后的患者3例后,又排除了4例患者,原因是与影像资料或实验室检查资料不全有关,最终纳入了在2023年6月至2024年6月期间,进行TAVI术前评估的患者71例(平均年龄:68.282±9.681岁;62%为男性)。随访发现入组的71例患者中,49例患者后续在本院进行了TAVI手术。

    按照心肌节段划分的16段模型,测量时避开明确的心肌局灶性延迟强化区域及伪影区域,最终共分析了1108个心肌节段,并计算了相应的ECV值。图2所示为ECV分布的直方图,数据呈近似正态分布,平均ECV值为33.937±5.167%,中位数(33.920±6.370%)约等于平均值。根据ECV中位数,将入组的71例患者分为低 ECV组和高 ECV组[16]

    图  2  细胞外容积(ECV)分布的直方图
    注:数据呈近似正态分布,平均 ECV为33.937±5.167%,中位数约等于平均值 (33.920±6.370%)。
    Figure  2.  Histogram of extracellular volume fraction (ECV) distribution

    49例手术患者中,26例属于高ECV组,23例属于低ECV组,表1所示为患者的基线特征。两组手术患者的性别、年龄、BMI及主动脉瓣病变类型等方面无明显差异。高ECV组的HCT较低,且差异具有统计学意义(P=0.010)。

    表  1  手术患者基线特征
    Table  1.  Baseline characteristics of the surgical patients
    项目 高ECV组(n=26) 低ECV组(n=23) 统计检验
    t/$\chi^2 $/Z P
    一般资料 年龄(岁) 68.500±7.431 68.739±7.990 −0.109 0.914
    男性n (%) 17(65.400) 18(78.300) 0.991 0.319
    身体质量指数BMI(kg/m2) 23.592±5.080 25.660±3.899 −1.924 0.054
    红细胞压积HCT(%) 36.642±6.006 40.357±3.403 −2.701 0.010
    主动脉瓣病变类型 主动脉瓣狭窄n (%) 16(61.500) 15(65.200) 0.175 1.000
    主动脉瓣关闭不全n (%) 5(19.200) 4(17.400)
    主动脉狭窄伴关闭不全n (%) 5(19.200) 4(17.400)
    合并其他疾病 心力衰竭n (%) 18(69.200) 17(73.900) 0.131 0.717
    冠脉血管病变n (%) 19(73.100) 15(65.200) 0.355 0.551
    高血压n (%) 16(61.500) 13(56.500) 0.127 0.721
    糖尿病n (%) 4(15.400) 4(17.400) < 0.001 1.00
    注:连续变量表示为平均值±标准差或中位数±四分位数间距,并根据情况使用两独立样本 t 检验(▲)或 Mann-Whitney U 检验(▼)进行比较;计数资料表示为计数和百分比,并使用$\chi^2 $(★)或Fisher精确检验(◆)进行比较;*P < 0.05。
    下载: 导出CSV 
    | 显示表格

    术后,高ECV组患者住院天数、ICU停留天数均大于低ECV组,且差异具有统计学意义,见表2图3的散点图显示ECV、HCT与术后住院天数之间存在相关关系。ECV与术后住院天数的相关性分析显示,ECV与术后住院天数呈现正相关(r=0.446,P=0.002);线性回归分析表明随着ECV值的增加,术后住院天数呈线性增加趋势(R2=0.105);另发现HCT与术后住院天数呈负相关(r=−0.331,P=0.028)。

    表  2  高ECV组与低ECV组患者术后住院天数和ICU停留天数的比较
    Table  2.  Comparison of postoperative hospitalization days and ICU stays between patients in the high-ECV group and low-ECV group
    项目 高ECV组 低ECV组 统计检验
    Z P
    术后住院天数(天) 7.000±4.500 3.500±2.750 −3.419 0.010
    ICU停留天数(天) 2.000±2.000 1.000±1.750 −2.252 0.024
    注:变量表示为中位数±四分位数间距,使用Mann-Whitney U 检验进行比较;*P < 0.05。
    下载: 导出CSV 
    | 显示表格
    图  3  细胞外容积(ECV)、红细胞压积(HCT)与术后住院天数的相关性
    注:细胞外容积(ECV)与术后住院天数呈正相关,红细胞压积(HCT)与术后住院天数呈负相关。
    Figure  3.  Correlation among extracellular volume (ECV), erythrocyte pressure volume (HCT), and postoperative hospitalization days

    所有手术患者都完成了术后短期(出院前)的随访,其中有32例术后围手术期内出现了心血管不良事件,高ECV组22例,低ECV组10例;15例患者术后出现了肝肾功能不全(15例患者中,1例术前具有慢性肾衰竭的病史,术后出现了肝功能不全,其余14例患者术前均没有肝肾功能不全的病史),高ECV组11例,低ECV组4例;值得注意的是,3例最终死亡或因意识丧失放弃治疗,均发生在高ECV组。

    表  3  高ECV组与低ECV组患者术后短期不良事件的比较
    Table  3.  Comparison of short-term postoperative adverse events between patients in the high- versus low-ECV group
    项目 高ECV组 低ECV组 统计检验
    $\chi^2 $ P
    危重(死亡或意识丧失)n (%) 3(11.500) 0 1.017 0.313
    心血管事件n(%)      22(84.600) 10(47.600) 7.318 0.007
    肝/肾损伤事件n(%)     11(42.300) 4(19.000) 2.892 0.089
    注:变量表示为计数和百分比,并使用$\chi^2 $或连续校正$\chi^2 $的进行比较;*P < 0.05。
    下载: 导出CSV 
    | 显示表格

    将术后出现心血管不良事件32名患者纳入心血管事件组,剩余手术患者纳入无心血管事件组,两组之间性别、年龄、BMI及并发症等方面无明显差异;心血管事件组HCT、ECV大于无心血管事件组(图4),且两组间主动脉瓣病变类型存在差异,见表4

    图  4  心血管事件组与无心血管事件组患者ECV值的盒式图
    Figure  4.  ECV values of patients in the cardiovascular event and no-cardiovascular-event groups
    表  4  心血管事件组与无心血管事件组患者基线特征
    Table  4.  Baseline characteristics of the patients in the cardiovascular event versus no-cardiovascular-event group
    项目 心血管事件组(n=32) 无心血管事件组(n=15) 统计检验
    t/$\chi^2 $ P值
    一般资料 年龄 68.531±8.332 70.200±5.087 0.713 0.479
    男性n (%) 20(62.500) 13(86.700) 1.813 0.178
    身体质量指数BMI(kg/m2) 24.598±4.529 25.009±3.295 0.314 0.755
    红细胞压积HCT(%) 37.094±5.760 40.233±2.645 2.561 0.014
    细胞外容积ECV(%) 35.383±3.971 31.621±2.950 −3.264 0.002
    主动脉瓣病变类型 主动脉瓣狭窄n (%) 16(50.000) 14(93.300) 8.256 0.012
    主动脉瓣关闭不全n (%) 8(25.000) 0
    主动脉狭窄伴关闭不全n (%) 8(25.000) 1(6.700)
    合并其它疾病 心力衰竭n (%) 22(68.800) 12(80.000) 0.206 0.650
    冠脉血管病变n (%) 22(68.800) 10(66.700) < 0.001 1.00
    高血压n (%) 20(62.500) 8(53.300) 0.356 0.551
    糖尿病n (%) 4(12.500) 3(20.000) 0.055 0.815
    注:连续变量表示为平均值±标准差,使用两独立样本的t检验进行比较;计数资料表示为计数和百分比,并使用$\chi^2 $ (★)或 Fisher精确检验(◆)进行比较;*P < 0.05。
    下载: 导出CSV 
    | 显示表格

    表5所示术后心血管不良事件的多因素Logistic回归分析,将患者术后心血管不良事件作为因变量(未发生=0,发生=1),将HCT、ECV和主动脉瓣病变类型作为自变量,多因素Logistic回归模型显示排除混杂因素之后的ECV:OR值为1.399,P值小于0.05。表明CT-ECV是患者术后短期发生心血管不良事件的独立危险因素。

    表  5  术后心血管不良事件的多因素Logistic回归分析
    Table  5.  Multifactorial logistic regression analysis of postoperative adverse cardiovascular events
    自变量 B OR值(95%) P值
    ECV 0.336 1.399(1.020~1.919) 0.037
    红细胞压积HCT −0.122 0.886(0.707~1.110) 0.291
    主动脉瓣病变类型(狭窄) −2.151 0.116(0.100~1.305) 0.081
    下载: 导出CSV 
    | 显示表格

    对于接受TAVI术的主动脉瓣病变患者,左心室射血分数受损一直以来是预测预后的一个强有力的指标,但反映了代偿机制的完全耗尽,是心肌功能障碍的晚期标志物,缺乏描述已经发生的心肌损害的敏感性[17]。心肌ECV是指细胞外基质容积占整个心肌组织的百分比,可反映与心肌细胞外间质改变相关的疾病进展。研究报道,心肌ECV提供最强大的独立预后信息,优于包括射血分数在内的传统标志物,ECV上升1%导致死亡风险增加10%[11,18]。本研究结果显示双能CT测量的心肌ECV与术后住院天数呈显著的正相关,且是术后短期心血管不良事件的独立预测因子。

    本研究采用双能CT扫描。通过CT测量ECV有两种方法:对于单能量CT(Single-Energy CT,SECT)扫描,需要计算平扫和延迟扫描时心肌和血池的CT值差值。Vignale等人在113例重度主动脉瓣狭窄患者的前瞻性观察队列研究中应用传统的基于平扫和延迟强化CT差值的ECV量化方法,研究结果表明,TAVI术前的CT-ECV可预测因心力衰竭住院或死亡的复合终点[19]。对于DECT扫描,不需要计算平扫和延迟强化的CT值差值,延迟扫描获得的碘图可以直接对碘含量进行定量,所以只需要测量碘图上血池和心肌的碘含量就可以获得ECV,克服了两次图像配准引起的测量误差。研究表明,与SECT相比,DECT与CMR在ECV量化方面的相关性显著更高[9,20]

    在我们的纳入人群中,既有主动脉瓣狭窄(Aortic valve stenosis. AS)患者,也有主动脉瓣关闭不全(Aortic regurgitation. AR)患者。前期大多数研究纳入人群为AS患者,多项研究表明,国内多中心回顾性分析显示AR发生的比例并不低于主动脉瓣狭窄[21],AR长期容量负荷的增加同样会导致左心室重构、心肌纤维化。最终发生心律失常、心力衰竭甚至猝死等不良心血管事件[22]

    延迟时间是ECV扫描的一个重要问题。目前还没有统一标准。目前常用的延迟时间为5分钟。一项由日本学者做的关于延迟时间的研究表示,在3分钟、5分钟和7分钟的延迟时间内,健康心肌或病灶疤痕的ECV没有明显差异[23],研究报告称在5分钟时获得了最好的图像质量。因此,本研究采用了5分钟的延迟时间。

    TAVI是一种微创手术,术后住院时间短,一般3-5天即可出院。来自美国胸外科医师协会(STS)/美国心脏病学会(ACC)经导管瓣膜治疗注册登记数据库的一项最新分析提示,TAVI后住院时间如超过3天,死亡风险会明显增加[24]。在Petel等人的研究中,根据CT-ECV的中位数对患者进行分层,低ECV组患者的生存率高于高ECV组[25]。因此,本研究CT-ECV与术后住院天数的正相关关系补充了CT-ECV可以预测死亡率的观点。此外,高ECV组的3名患者在术后15天内(出院前)死亡或因意识丧失放弃治疗,同样支持了CT-ECV可以预测死亡率的观点。结果显示HCT与术后住院天数之间呈现负相关关系,可能是由于HCT和左心室功能变化有关[26-27]。红细胞压积反应血液的粘稠度,可反映贫血及水钠潴留的程度。研究发现,心衰发生后由于左心室功能障碍可引起水钠潴留,进而引发的稀释性贫血是导致患者预后不良的重要原因[28]

    本研究也存在一些局限性。首先,本研究是一个前瞻性的单中心研究,样本量相对较小,部分统计功效相对较低。为了避免II型错误,未来的研究必须评估更大的患者样本。其次,在当前的研究中使用了两种不同类型的双能CT扫描仪,可能会导致研究偏移,但研究表明心肌ECV只与心肌间质状态的改变,尤其是胶原纤维化比例增加有关,不易受各种技术因素的影响[29]。最后,与MRI相关研究结果相比,DECT可能会轻度高估ECV值,其原因可能为叠加碘图像平均值高估了心肌和血池中的碘浓度,导致DECT-ECV值升高;也可能由于CT技术固有缺陷,如较低的软组织对比度分辨率,导致高估ECV。但研究表明基于DECT的心肌 ECV 与基于 CMR的心肌 ECV 之间存在良好的相关性, DECT-ECV可以成为心肌组织表征的替代非侵入性成像工具[20,30]

    综上所述,建立术前风险分层评估以正确选择患者,对高危患者进行严密随访和危险因素控制,CT-ECV是一个很有前途的指标。在大多数机构中,为了更好的指导手术,TAVI术前CT评估是作为常规项目的,CT-ECV的发展将有可能优化工作流程,实现对解剖学、冠状动脉血流和心肌组织表征的一次性成像。

  • 图  1   深度学习的基本思想。神经网络由相互连接的神经元组成,每个神经元先执行线性计算 (内积),再执行非线性运算(阈值化,如ReLU)。神经元之间的权重参数被随机初始化,并通过使用训练数据迭代更新以期损失函数最小化(例如上图迭代中显示为“4”的绝对误差),最终输出正确答案(在本例中为“5”)

    图  2   人们对医学成像的关注维持不变,但对人工智能及其主流方法“深度学习”的关注出现了激增。2016年,对深度学习的关注超过了医学成像

    图  3   使用TITLE-ABS-KEY规则=(deep learning AND medical AND image AND reconstruct*)AND(X-ray OR CT OR computed tomography)在Scopus进行检索的可视化结果

    图  4   模块化的深度去噪网络是在有放射科医生参与的闭环模式下训练的[9]。该网络生成不同程度的去噪图像,供放射科医生根据具体诊断任务决定最佳程度

    图  5   我们最近设计的SUGAR网络针对相当稀疏的数据重建出很有潜力的初步结果[10]

    图  6   利用深度学习对如蛋白质分子的非晶体目标进行基于AlphaFold的X射线断层成像。由于超高分辨率所需的强辐射会立即摧毁目标,因此对于断层成像重建而言,只能采集到单次发射的散射波前数据,这是极具挑战性的极稀疏数据成像任务

    图  7   对抗性攻击使训练好的深度网络处于高度危险之中。虽然原始数字图像(左)被深度分类器正确分类,但是我们能设计一个微小的对抗噪声(中)并添加到原始图像中,形成视觉上差不多的图像(右),让该图像被同一分类器错误分类

    图  8   解析、压缩、深度迭代(ACID)网络的总体思想示意图,用于整合解析重建、稀疏性提升、迭代优化和深度学习的优势

    图  9   结合数据驱动和基于规则的方法,运用知识图谱技术进行深度模糊逻辑解释和知识提取

    图  10   构建性价比高的便携移动式混合成像仪器是可行的,方便现场医护

    图  11   在深度学习框架下更紧密更经济地融合成像模式和开发合成仪器

    图  12   使用Scopus TITLE-ABS-KEY规则=("deep learning" AND medical AND image AND reconstruct*)AND(X-ray OR CT OR "computed tomography")获得的,关于X射线成像和深度学习的交叉研究的全球景观

  • [1]

    KERMELIOTIS T. X-ray voted top modern discovery[EB/OL]. Cable News Network, (2009-01-01). https://www.cnn.com/2009/WORLD/europe/11/04/xray.machine.science.museum/index.html.

    [2]

    WANG G, YE J C, DE MAN B. Deep learning for tomographic image reconstruction[J]. Nature Machine Intelligence, 2020, 2(12): 737-748.

    [3]

    LELL M M, KACHELEß M. Recent and upcoming technological developments in computed tomography: High speed, low dose, deep learning, multienergy[J]. Investigative Radiology, 2020, 55(1): 8−19. doi: 10.1097/RLI.0000000000000601

    [4]

    MAIER A, SYBEN C, LASSER T, et al. A gentle introduction to deep learning in medical image processing[J]. Journal of Medical Physics, 2018, 29(2): 86−101.

    [5]

    SAHINER B, PEZESHK A, HADJIISKI L M, et al. Deep learning in medical imaging and radiation therapy[J]. Medical Physics, 2019, 46(1): e1−e36. DOI: 10.1002/mp.13264.

    [6]

    WANG G. A perspective on deep imaging[J]. IEEE Access 4, 2016: 8914−8924.

    [7]

    WANG G, CONG W X, YANG Q S. Tomographic image reconstruction via machine learning: US 10, 970, 887 B2[P]. (2016-06-24)[2021-04-06]. https://patents.google.com/patent/US10970887B2/en?oq=10970887.

    [8]

    WANG G, ZHANG Y, YE X J, et al. Machine learning for tomographic imaging[J]. IOP Publishing Ltd, 2019.

    [9]

    SHAN H, PADOLE A, HOMAYOUNIEH F, et al. Competitive performance of a modularized deep neural network compared to commercial algorithms for low-dose CT image reconstruction[J]. Nature Machine Intelligence, 2019, 1(6): 269−276. doi: 10.1038/s42256-019-0057-9

    [10]

    WU W W, NIU C, EBRAHIMIAN S, et al. AI-enabled ultra-low-dose CT reconstruction[J/OL].(2021-01-01). https://arxiv.org/abs/2106.09834.

    [11]

    CHAO H, SHAN H, HOMAYOUNIEH F, et al. Deep learning predicts cardiovascular disease risks from lung cancer screening low dose computed tomography[J]. Nature Communications, 2021, 12(1): 2963. doi: 10.1038/s41467-021-23235-4

    [12]

    RAINES K S, SALHA S, SANDBERG R L, et al. Three-dimensional structure determination from a single view[J]. Nature, 2010, 463(7278): 214-217.

    [13]

    WEI H. Fundamental limits of ‘ankylography’ due to dimensional deficiency[J]. Nature, 2011, 480(7375): E1.

    [14]

    WANG G, YU H, CONG W X, et al. Non-uniqueness and instability of ‘ankylography’[J]. Nature, 2011, 480(7375): E2-3.

    [15]

    SENIOR A W, EVANS R, JUMPER J, et al. Improved protein structure prediction using potentials from deep learning[J]. Nature, 2020, 577(7792): 706-710.

    [16]

    AKHTAR N, MIAN A. Threat of adversarial attacks on deep learning in computer vision: A survey[J]. IEEE Access 6, 2018, 14410-14430.

    [17]

    ANTUN V, RENNA F, POON C, et al. On instabilities of deep learning in image reconstruction and the potential costs of AI[J]. Proceedings of the National Academy of Sciences, 2020, 117(48): 201907377.

    [18]

    WU W W, HU D L, CONG W X, et al. Stabilizing deep tomographic reconstruction networks[J/OL]. https://arxiv.org/abs/2008.01846 (v1, v2, and v3, 2020, v4, 2021).

    [19]

    WU E, WU K, DANESHJOU R, et al. How medical AI devices are evaluated: Limitations and recommendations from an analysis of FDA approvals[J]. Nature Medicine, 2021, 27(4): 582-584.

    [20]

    CHAN K H R, YU Y D, YOU C, et al. ReduNet: A white-box deep network from the principle of maximizing rate reduction[J]. 2021.

    [21]

    FAN F L, XIONG J J, LI M Z, et al. ReduNet: A white-box deep network from the principle of maximizing rate reduction[J]. IEEE Trans Radiat Plasma Med Sci, 10.1109/TRPMS.2021.3066428 (2021).

    [22]

    SHAMSHIRBAND S, FATHI M, DEHZANGI A, et al. A review on deep learning approaches in healthcare systems: Taxonomies, challenges, and open issues[J]. Journal of Biomedical Informatics, 2021, 113: 103627.

    [23]

    MONTAVON G, SAMEK W, MÜLLER K R. Methods for interpreting and understanding deep neural networks[J]. Digital Signal Processing, 2018, 73: 1-15.

    [24]

    FAN F L, WANG G. Fuzzy logic interpretation of quadratic networks[J]. Neurocomputing, 2020, 374: 10-21.

    [25]

    FAN F F, XIONG J J, WANG G. Universal approximation with quadratic deep networks[J]. Neural Networks, 2020, 124, 383-392.

    [26]

    SABOUR S, FROSST N, HINTON G E. Dynamic routing between capsules[J]. Adv Neural Inf Process Syst, 2017-Decem, 3857-3867.

    [27]

    FAN F L, LAI R J, WANG G. Quasi-equivalence of width and depth of neural networks[EB/OL]. (2020-01-01). https://arxiv.org/abs/2002.02515.

    [28]

    NICKEL M, MURPHY K, TRESP V, et al. A review of relational machine learning for knowledge graphs[J]. Proceeding of the IEEE, 2015, 104(1): 11-33.

    [29]

    WANG Q, MAO Z, WANG B, et al. Knowledge graph embedding: A survey of approaches and applications[J]. IEEE Trans Knowl Data Eng, 2017, 29(12): 2724-2743.

    [30]

    LIU J, ZHU X X, LIU F, et al. OPT: Omni-perception pre-trainer for cross-modal understanding and generation[EB/OL]. (2021-01-01). https://arxiv.org/abs/2107.00249.

    [31]

    WANG G, ZHANG J, GAO H, et al. Towards omni-tomography: Grand fusion of multiple modalities for simultaneous interior tomography[J]. PLoS One, 2012, 7(6).

    [32]

    WANG G, KALRA M, MURUGAN V, et al. Vision 20/20: Simultaneous CT-MRI-Next chapter of multimodality imaging[J]. Medical Physics, 2015, 42(10): 5879-5889.

    [33]

    DINELEY J. Tackling the silent crisis in cancer care[EB/OL]. (2018-01-01). https://www.lindau-nobel.org/blog-tackling-the-silent-crisis-in-cancer-care-with-innovation/.

图(12)
计量
  • 文章访问数:  2206
  • HTML全文浏览量:  367
  • PDF下载量:  430
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-11-30
  • 录用日期:  2021-11-30
  • 网络出版日期:  2021-12-02
  • 刊出日期:  2022-01-31

目录

/

返回文章
返回
x 关闭 永久关闭