Differential Diagnosis of COVID-19 and Community-acquired Pneumonia Using Different Machine Learning Methods
-
摘要: 目的：利用深度学习技术，全自动标注病变的计算机断层扫描（CT）数据，开发准确快速区分新型冠状病毒感染（COVID-19）和其他社区获得性肺炎的人工智能模型。方法：回顾性分析248例COVID-19患者及347例其他肺炎患者的资料，进行COVID-19与其他肺炎分类；在人工智能肺分割提取后将异常的CT图像特征降维，输入几种经典强化机器学习模型、三维卷积神经网络（3D CNN）和注意力多示例学习（Attention-MIL）深层神经网络架构中，模型诊断性能利用受试者工作特性（ROC）曲线、精确召回率（PR）曲线、曲线下面积（AUC）、敏感性、特异性、准确性指标进行评价。结果：在经典机器学习模型中K邻近算法（KNN）具有较好的效果，在外部测试集上的AUC值和平均精度（AP）值分别为0.79和0.89，平衡F分数（F1）值为0.76，准确率为0.75，敏感性为0.76，精确率为0.77；经典的3D CNN在外部测试集上效果良好，AUC值和AP值分别为0.64和0.82，F1值为0.71，准确率为0.78，敏感性为0.66，精确率为0.62；Attention-MIL模型在外部测试集上表现出更好的鲁棒性，AUC值和AP值分别为0.85和0.94，F1值达到0.82，准确率为0.92，敏感性为0.74，精确率为0.76。结论：与强化影像组学和3D CNN模型相比，深度学习Attention-MIL模型在鉴别诊断COVID-19和其他社区获得性肺炎上表现出更高的效能。
-
关键词:
- CT /
- Attention-MIL模型 /
- COVID-19 /
- 社区获得性肺炎
Abstract: Purpose: Utilizing deep learning techniques, this study aimed to develop an artificial intelligence model that automatically annotates lesion computed tomography (CT) data, accurately and rapidly distinguishing novel coronavirus pneumonia (COVID-19) from other community-acquired pneumonia cases. Methods: A retrospective analysis was conducted on data from 248 patients with COVID-19 and 347 patients with other types of pneumonia. The COVID-19 cases were differentiated from other pneumonia cases during classification. After performing artificial intelligence-based lung segmentation, the extracted abnormal CT image features were dimensionally reduced and inputted into various classical machine learning models, Three-dimensional convolutional neural network (3D CNN), and attention-Multiple-instance learning (MIL) deep neural network architectures. The diagnostic performance of the models was evaluated using metrics such as receiver operating characteristic (ROC) curves, Precision Recall (PR) curves, Area Under Curve (AUC), sensitivity, specificity, and accuracy. Results: Among the classical machine learning models, K-Nearest Neighbor (KNN)demonstrated good performance, with an AUC of 0.793, Average Precision (AP) of 0.886, Balanced F Score (F1-score) of 0.7608, accuracy of 0.7512, sensitivity of 0.7754, and precision of 0.7691 on the external test set. The classical 3D CNN model exhibited satisfactory performance on the external test set with an AUC of 0.635, AP of 0.816, F1-score of 0.7144, accuracy of 0.7783, sensitivity of 0.6603, and precision of 0.6200. The attention-MIL model showed better robustness on the external test set, achieving an AUC of 0.851, AP of 0.935, F1-score of 0.8193, accuracy of 0.9155, sensitivity of 0.7414, and precision of 0.7646. Conclusion: Compared to the radiomics-enhanced and 3D CNN models, the deep learning attention-MIL model exhibited better performance in the differential diagnosis of COVID-19 and other community-acquired pneumonia.-
Keywords:
- CT /
- attention-MIL model /
- COVID-19 /
- community-acquired pneumonia
-
新型冠状病毒感染（COVID-19）具有高度传染性，并会导致急性重症病例（呼吸窘迫或多器官功能衰竭）[1-4]。COVID-19疫情的爆发对全球经济和人类健康造成了严重的影响。
目前COVID-19的确诊广泛依赖逆转录-聚合酶链式反应（RT-PCR）。然而，有研究表明，由于RT-PCR的耗时性和60％～71％ 低灵敏度，可能不利于COVID-19患者的早期发现和早期干预[5-6]。计算机断层扫描成像（computed tomography，CT）作为非侵入性快速成像方法，是新冠肺炎早期筛查的重要工具[7-8]。尽管有其优点，但在1014例COVID-19患者的研究中，因其具有共同肺影像改变（包括外周磨玻璃密度（ground glass nodule，GGO）），且胸部CT的特异性较低（25％）[5]，可能难以区分COVID-19和其他类型肺炎患者。
最近，深度学习技术由于强大的特征提取能力，已在医学成像领域研究中广泛应用[9-15]。有文献表明，基于深度学习（deep learning，DL）的人工智能（artificial intelligence，AI）诊断系统能以较高的准确度从其他肺炎中识别出COVID-19[9]。然而，已发表的研究具有诸多不足：如小样本量、缺乏外部验证、对不同机器学习建模算法没有比较、对于“社区获得性肺炎（community acquired pneumonia，CAP）”无病原学诊断等[10-13]，其中数据标注方式不明尤为显著[14]。
本研究尝试分别采用强化影像组学模型、传统3D CNN模型以及Attention-MIL模型，构建基于自动标注数据的深度学习COVID-19鉴别诊断模型，并且通过内外部测试集，验证模型的效能与稳健性。
1. 材料和方法
1.1 患者队列
本回顾性研究得到医院伦理委员会的批准。研究包括2019年12月31日至2022年12月17日分别从5个医疗中心采集并同时通过RT-PCR和三维胸部CT扫描阳性新冠患者295例，均来自医院信息系统（Hospital Information System，HIS）中的电子病历。对于使用多种RT-PCR分析的患者，最后一次测试的阳性结果被用作诊断确认。
排除标准：①增强 CT扫描；②层厚大于 3 mm的扫描。应用排除标准后，从最终选择248例3D胸部CT扫描。
在2017年8月16日至2022年12月17日间从参与医院中随机选择CAP患者347例，且进行呼吸道病原体检测（147例细菌性肺炎、107例其他病毒性肺炎、45例支原体肺炎和48例真菌性肺炎）。不同医院患者的人口统计学特征详见表1。平均患者年龄（±标准差）为（49±15）岁，男性比女性略多。在最终数据集中的595次扫描中，获得COVID-19的248次（42％），CAP的347次（58％），RT-PCR证实所有COVID-19病例均为阳性。
表 1 不同医院患者的统计数据汇总Table 1. Summary of the statistical data of patients from different hospitals不同医院肺炎患者 病例数（CT数）/例 年龄/岁 男/例 女/例 内蒙古人民医院 COVID-19 80 45±13.11 34～77 36 44 CAP 102 56±14.12 45～67 57 45 金门县人民医院 COVID-19 143（143） 44.95±15.12 2～86 73 70 浙江省人民医院 COVID-19 4（4） 43±13.13 26～59 1 3 CAP 35（35） 42.08±14.95 10～66 21 14 浙江大学医学院附属邵逸夫医院 COVID-19 8（8） 42.75±6.33 33～51 4 4 CAP 210（334） 44.05±16.77 15～85 103 107 台州市中心医院 COVID-19 13（13） 47.76±14.22 31～74 6 7 所有扫描均以9∶1的比例随机分为一个训练集和一个独立的测试集。然后将训练数据集进一步拆分以训练模型和验证集（样本的10％）。独立外部测试集未用于培训和内部验证。
1.2 成像协议
使用标准成像协议不同制造商的CT设备进行扫描。每次体积扫描均包含51～1094个CT层面，层面厚度的变化范围为0.5～3 mm。重建矩阵为512×512像素，面内像素空间分辨率为（0.29×0.29）mm2到（0.98×0.98）mm2。
1.3 深度学习自动分割、标注
DL分割算法是Infervision（https://www.infervision.com/）在InferScholar平台上内置的功能，在本研究中用于自动描绘ROI。对该分割算法利用595例患者的胸部CT扫描进行训练，利用粗略注释策略，由经验丰富的放射科医生在CT图像上选择性地注释具有多灶性小斑片状实变影、磨玻璃密度影和混合磨玻璃密度影。
在训练过程中，首先使用双线性插值方法将不同尺寸的CT图像重新调整为512×512，并在 -600的窗口中心和1500的窗口宽度处重新缩放图像的CT值，从而可以将肺炎病灶呈现并易于区分。分割后，每个带注释的病变均合并为3D ROI。使用Mxnet（1.6.0版）和CUDA（10.0版）对DL分割算法进行训练和测试，简要地总结DL分割算法的结构，U-Net是其中Xception算法的主要架构主链，注释性能通过Dice索引进行评估[15]。
1.4 学习模型构建与测试
1.4.1 强化影像组学模型构建与测试
采用DL自动标注方法提取ROIs特征，利用PyRadiomics库提取病灶区影像学特征，共提取图像特征1454个，对所有的图像做特征提取和分析，共182个，利用lasso方法进行特征选择后，剩余51特征[16]。
利用降维后的特征，训练几种经典的机器学习模型，进行鉴别诊断模型构建，包括bagging、MLP、SVC、nusvc、KNN、logistic、xgboost和adaboost[17]。其中训练样本145个序列（CAP：81个，COVID：64个），测试样本37个序列（CAP：21个，COVID：16个）。
1.4.2 3D CNN模型构建与测试
我们开发一种用于检测COVID-19的3D深度学习框架，称为3D Network（图1）。3D Network是使用ResNet18作为骨干的卷积神经网络，它以一系列CT切片作为输入，并生成CT图像的分类预测。通过最大池合并操作将来自CT系列每个切片的卷积神经网络特征进行组合，并将得到的特征图馈送到完全连接层来为每个类别生成概率得分，能够提取二维局部和3D全局代表性特征。
![]()
图 1 新型冠状病毒肺炎COVID-19检测神经网络架构Figure 1. Corona Virus Disease 2019 (COVID-19) detection neural network architectureCOVNet框架包含RestNet18 t[18]作为主干，将resblock结构由5个减少到3个，数据输入到3个resblock网络后，直接输出512维特征，再连接两个全连接层；模型训练参数中，学习率adam初始化为0.01，每隔20次迭代降低0.1，总迭代次数为100次，损失函数用的是交叉熵。该框架将一系列CT切片作为输入并为相应切片生成特征，然后通过使用最大池合并操作将从所有切片中提取的特征进行组合，最终特征图将馈送到完全连接层和softmax激活函数，以生成每种类型（COVID-19和CAP）的概率评分。
1.4.3 Attention-MIL模型构建与测试
利用resnet18逐个对k个示例进行提取特征（本实验共计32个示例），得到32个特征向量（512维度）。我们把以上得到的k个特征定义为包H，hi表示H中的特征示例，对包H的加权和如公式（1）所示。动态的权重a则借鉴加权注意力模型思想进行构建（公式（2）），权重a就代表每个示例对分类的一个影响，其中W和V为网络参数。最后通过所有的特征进行注意力加权后，输出新冠肺炎和CAP两类[19-20]。
$$\begin{aligned} & {\boldsymbol{H}}=\left\{{h}_{1},{h}_{2},\cdots ,{h}_{k}^{}\right\} \\ &z=\sum _{k=1}^{{K}}{a}_{k}^{}{h}_{k}\end{aligned} ,$$ (1) where:
$$ {a}_{k}^{}=\frac{\mathrm{exp}\Big({{\boldsymbol{W}}}_{}^{{\rm{T}}}\mathrm{tanh}\left({\boldsymbol{V}}{{\boldsymbol{H}}}_{k}^{{\rm{T}}}\right)\Big)}{\displaystyle\sum _{{j}=1}^{K}\mathrm{exp}\bigg({{\boldsymbol{W}}}_{}^{{\rm{T}}}\mathrm{tanh}\left({\boldsymbol{V}}{{\boldsymbol{H}}}_{{j}}^{{\rm{T}}}\right)\bigg)}\mathrm{。} $$ (2) 1.5 统计分析
模型效能采用敏感性、特异性、准确性、ROC曲线、PR曲线、AUC和AP值进行评估。计量资料用均数、标准差、95％ 置信区间等描述。对计数资料将采用频数和构成比描述，采用卡方检验判断组间的统计学差异。P<0.05时具有统计学差异。AUC和AP值的95％ 的置信区间（CI）的通过DeLong test进行统计学差异分析[21]。
本研究所涉及的统计分析采用SPSS 20.0和R 4.0.5统计软件进行。
2. 结果
2.1 在鉴别新冠肺炎中强化影像组学模型建立与测试
病灶分割采用AI自动标注方法，勾勒肺炎病灶，用作特征提取的ROIs。特征提取利用PyRadiomics库提取病灶区影像学特征，共提取图像特征1454维，对所有的图像做特征提取和分析，共182个序列，利用lasso方法进行特征选择后，剩余51维特征。利用降维后的特征，训练几种经典的机器学习模型，进行鉴别诊断模型构建，包括bagging、MLP、SVC、nusvc、KNN、logistic、xgboost和adaboost。其中训练样本145个（CAP：81个，COVID：64个），测试样本37个（CAP：21个，COVID：16个）。在训练集上，采用5折交叉验证方法，选择5折交叉中性能最好（最优AUC值）对应的参数去对测试集进行预测。
模型外部测试集评价，采用ROC曲线和AUC进行评估，影像组学方法中，采用多种经典的机器学习模型进行建模，模型在外部测试中AUC值集中在0.74左右，其中nusvc和KNN模型效果较优（图2）。此外，在具体分类指标方面，KNN的F1值达到0.78，准确性达0.75，其他指标详见表2。与内部测试集相比，影像组学模型的表现均显著下降。
![]()
图 2 组学模型在外部测试集中的ROC曲线及准确率Figure 2. ROC curve-level and accuracy of the omics model in the external test set表 2 各种方法在外部测试集上的表现评价指标Table 2. Performance evaluation indicators for each method on independent test sets测试集 F1值 准确率/％ 召回率/％ 精确率/％ Adaboost 0.55 0.56 0.55 0.55 bagging 0.66 0.65 0.68 0.67 KNN 0.76 0.75 0.77 0.77 logistic 0.72 0.75 0.74 0.72 MLP 0.69 0.69 0.71 0.69 nusvc 0.74 0.75 0.76 0.75 SVC 0.68 0.69 0.68 0.69 xgboost 0.60 0.60 0.62 0.59 2.2 深度学习模型在鉴别新冠肺炎中效果
2.2.1 DCNN模型外部数据集评价
模型效果通过ROC曲线、PR曲线、AUC和AP值进行评估，3D CNN模型在外部测试中AUC值和AP值分别为0.64和0.82（图3）。模型在外部测试集上的F1值为0.71，准确率为0.78，敏感性为0.66，精确率为0.62。与内部测试集上的表现相比，模型分类性能有所降低（AUC值从0.74降至0.64）。
![]()
图 3 DCNN模型在外部测试集上的ROC和PR曲线Figure 3. ROC and PR curves of the DCNN model in the external test set2.2.2 Attention-MIL模型在外部测试集中评价
对于不同等份k的取值，我们通过对比实验选取优化模型，在验证集下当k=32时，模型的AUC值是最优的，因此选择分为34等分，保留32等分。模型效果通过ROC曲线、PR曲线、AUC和AP值进行评估，Attention-MIL模型在外部测试中AUC值和AP值分别为0.85和0.94（图4）。该模型在外部测试集上的F1值达到0.82，准确率为0.92，敏感性为0.74，精确率为0.76。与内部测试集相比，Attention-MIL模型的诊断效能虽然有所降低，AUC值由0.93降至0.85，但与组学及3D CNN模型两种方法相比，该模型具有更好的鲁棒性，在外部测试集中的表现更好（表3）。
![]()
图 4 Attention-MIL模型在外部测试集上的ROC和PR曲线Figure 4. ROC and PR curves for the attention-MIL model in the flight set表 3 不同机器学习框架在COVID-19独立测试集上的性能Table 3. Performance of different machine learning frameworks on COVID-19 independent test setsGroup/COVID-19 敏感性/% 特异性/% AUC P KNN 77 67 73 P<0.001 3D CNN 78 69 76 P<0.001 Attention-MIL 90 96 85 P<0.001 总结不同机器学习方法在检测COVID-19和CAP中的性能，Attention-MIL模型检测COVID-19的敏感性和特异性分别为90％（127个扫描中的114个；95％CI：83％，94％，P<0.001）和96％（307个扫描中的294个；95％CI：93％，98％；P<0.001）（表3）。接收器工作特性曲线下针对COVID-19和CAP的相应区域分别为0.85（95％CI：0.94％、0.99％）和0.84（95％CI：0.93％、0.97％）（图4）。
2.2.3 Attention-MIL模型注意力机制的效果分析
为了解注意力机制对于不同示例的影响，我们选取一整套CT图，观察、分析其选取的每个示例的权重。为更好的体现对比效果，我们把病灶区域勾画出来，配合标注的权重进行分析。在注意力机制下，模型给予病灶区域示例的加权比重更大，且病灶区域越大，权重也越大（图5）。
![]()
图 5 注意力机制针对不同示例的赋予权重大小分析Figure 5. The attention mechanism is weighted for different examples2.2.4 针对多示例模型Attention-MIL的解释性探索
为提高模型的可解释性，我们采用梯度加权的类激活映射或Grad-CAM方法[22]来可视化导致深度学习模型决策的重要区域，与病灶标注金标准、3DCNN、加强组学模型和原始图像对比，分析模型特征提取关注的区域。
Attention-MIL模型其与病灶位置高度一致（图6），这可能是模型效果较好的基础，这种感兴趣区标注完全由模型生成，而无需其他手动注释。图6显示针对COVID-19和CAP的可疑区域的热图，这说明，我们的算法最关注异常区域，而忽略正常区域。
![]()
图 6 新型冠状病毒感染、社区获得性肺炎者使用梯度加权激活映射或Grad-CAM方法生成的注意力热图热图是标准的Jet颜色图，并与原始图像重叠。红色突出显示与预测类别关联的激活区域。Figure 6. Coronavirus disease 2019 (COVID-19), a representative example of attention heatmaps generated with data from individuals with community-acquired pneumonia using gradient-weighted category activation mapping or the Grad-CAM method-pneumonia3. 讨论
随着COVID-19在全球范围内传播，对疾病进行快速早期诊断、迅速隔离患者以防止病毒传播至关重要。RT-PCR被认为是COVID-19确诊的“金标准”，但目前用于识别病毒的RT-PCR测试诊断方法在疾病早期具有较低的敏感性。虽然胸部CT具有灵敏度高，但特异性较低[6]，这种低特异性可能是由于很难将COVID-19与胸部CT上其他疾病区分开[5]，并且在巨大的工作量下放射科医生快速而准确地诊断肺炎是非常具有挑战性的。深度学习网络可以帮助放射科医生进行COVID-19的初步筛查，同时可以减轻放射科医生的工作量，提高诊断效率，便于COVID-19患者更及时和适当的治疗。
目前，多种开发的基于机器学习或深度学习的模型，用于新冠肺炎筛查，然而，许多研究并未清楚的描述其有关预处理步骤（像病灶勾勒）的方法，预测变量区域存在很高的偏移风险，图像有时仅由1人注释，没有质量控制[14]，而且缺少对模型规格和后续效果的仔细描述，这对模型的透明性和可重复性构成挑战。每项研究都使用不同的深度学习架构，而没有将所使用的架构与其他基准进行对比[23-26]。通过手动标注COVID-19胸部CT上的病灶，可以训练出诊断准确性很好的模型，但由于所需的医生工作量较大，在人力资源紧张的情况下是难以实现的。
在本研究中，我们探索多种人工智能算法，以期采用无需标注/手动标注的数据训练能够鉴别COVID-19和CAP的模型，包括：①对比多种经典强化影像组学模型，筛选出表现较好的KNN和nusvc模型，DL自动勾勒病灶增加了组学模型的临床落地潜能；②创新的Attention-MIL模型基于利用DL自动分割得出ROI数据，可以有效的鉴别COVID-19患者，且表现出最好的模型鲁棒性；③对比分析不同 3D模型效果差异的可能原因，即模型判断参考的病灶区域差异。
基于深度学习的研究表明，通过CT图像对COVID-19肺炎的初步筛查具有显着效果，迄今为止，已经报道了通过AI方法进行COVID-19诊断的一些尝试[6,27-30]。Chen等[27]使用来自单个中心的106例患者的单次CT图像，开发并验证COVID-19肺炎的深度学习诊断模型，在测试集中分别达到0.99、0.94和0.99的准确性、敏感性和特异性；在另外两个中心的研究中；Wang等[28]使用迁移学习方法，使用99例患者的CT图像数据来识别COVID-19肺炎，在测试集中模型的AUC、准确性、敏感性和特异性分别为0.78、0.73、0.67和0.76。但是，由于这些研究具有局限性，如数据集较小且涉及的医院少于两个以及人工标注时间成本问题，此外关于多中心数据的泛化性能还有待验证。
本研究采用多中心CT图像数据，利用来自深度学习自动分割CT图像来获取ROI，利用PyRadiomics库提取病灶区影像学特征，进行特征降维、选择，对比训练多种强化组学模型。KNN组学模型通过外部测试集，较其他组学模型表现效果更好，得出敏感性和特异性分别为0.77和0.67，组学模型具有明确的预测特征，有很好的解释性，但会丢失大量有用特征；深度卷积神经网络（CNN）是计算机视觉方面的尖端技术，可能好于放射医生诊断方面的表现。利用来自深度学习自动分割CT图像训练机器学习视觉中最先进的RestNet18 t 3D CNN深度学习网络，该框架能够提取2D局部和3D全局代表性特征，在外部测试集中3D CNN模型的敏感性和特异性分别为0.78和0.70，与之前的研究取得相似的结果，但是通过多中心数据泛化后取得，具有更好的鲁棒性。
对比我们模型与其他深度学习模型研究，Attention-MIL模型较3D CNN模型预测准确性和敏感性均有提高。在独立的测试COVID-19数据集上，显示该Attention-MIL模型实现高敏感性（90％[95％ 置信区间[CI]：83％，94％]）和高特异性（96％ [95％CI：93％，98％]），准确率达0.92。相对于影像组学和3D CNN模型而言，Attention-MIL模型表现出更好的鲁棒性，更适合基于小数据集、少量病例数、多病灶区构建模型；在节省标注资源投入的同时达到较好的模型效果，并表现出更好的性能。每张图注意力权重与病灶大小成正比，使我们能够找到关键实例病灶，这些实例可以进一步用于突出显示可能疾病特征，Attention关注的病灶区域与人工勾画的范围最接近，可能是其表现较好的原因之一。
本文提出一种Attention新方法，旨在将可解释性与MIL方法结合起来并提高其可操作性，注意权重允许我们找到关键的预测特征，这些预测特征可以进一步用来加强预测效率[20]。模型效果在外部测试集上效果有所降低，但Attention模型具有较强的鲁棒性及一致性，具备更广泛的临床应用潜能。
本研究的局限性：①没有考虑 CAP的临床类型和COVID-19的严重程度，在CT影像特征的不同，同时各种CAP临床类型和COVID-19的患者人数分布也不均，因此无法实现精确的多分类鉴别诊断，进一步研究应收集更多患者的数据集以及包括CAP亚型和COVID-19严重程度，而具有更高泛化能力和临床意义的模型；②深度学习区分COVID-19和CAP的机制缺乏透明度和可解释性，目前仅采用热图来可视化CT图像中导致决定算法的重要区域，解释性尚有限；③本研究的重点是区分是否为COVID-19，并没有解决将疾病分类为不同严重程度的问题。下一步的研究工作，重要的是不仅要预测COVID-19的存在，而且要预测严重程度以进一步帮助监测和治疗患者。
总之，我们已开发出强鲁棒性的Attention-MIL深度学习模型，以区分胸部CT扫描中的COVID-19和CAP。该方法无需病灶勾勒，可有效的节约医生资源，并且在其他肺弥漫性疾病中具有推广价值。
-
![]()
图 1 新型冠状病毒肺炎COVID-19检测神经网络架构
Figure 1. Corona Virus Disease 2019 (COVID-19) detection neural network architecture
![]()
图 2 组学模型在外部测试集中的ROC曲线及准确率
Figure 2. ROC curve-level and accuracy of the omics model in the external test set
![]()
图 3 DCNN模型在外部测试集上的ROC和PR曲线
Figure 3. ROC and PR curves of the DCNN model in the external test set
![]()
图 4 Attention-MIL模型在外部测试集上的ROC和PR曲线
Figure 4. ROC and PR curves for the attention-MIL model in the flight set
![]()
图 5 注意力机制针对不同示例的赋予权重大小分析
Figure 5. The attention mechanism is weighted for different examples
![]()
图 6 新型冠状病毒感染、社区获得性肺炎者使用梯度加权激活映射或Grad-CAM方法生成的注意力热图
热图是标准的Jet颜色图，并与原始图像重叠。红色突出显示与预测类别关联的激活区域。
Figure 6. Coronavirus disease 2019 (COVID-19), a representative example of attention heatmaps generated with data from individuals with community-acquired pneumonia using gradient-weighted category activation mapping or the Grad-CAM method-pneumonia
表 1 不同医院患者的统计数据汇总
Table 1 Summary of the statistical data of patients from different hospitals
不同医院肺炎患者 病例数（CT数）/例 年龄/岁 男/例 女/例 内蒙古人民医院 COVID-19 80 45±13.11 34～77 36 44 CAP 102 56±14.12 45～67 57 45 金门县人民医院 COVID-19 143（143） 44.95±15.12 2～86 73 70 浙江省人民医院 COVID-19 4（4） 43±13.13 26～59 1 3 CAP 35（35） 42.08±14.95 10～66 21 14 浙江大学医学院附属邵逸夫医院 COVID-19 8（8） 42.75±6.33 33～51 4 4 CAP 210（334） 44.05±16.77 15～85 103 107 台州市中心医院 COVID-19 13（13） 47.76±14.22 31～74 6 7 
下载: 导出CSV
表 2 各种方法在外部测试集上的表现评价指标
Table 2 Performance evaluation indicators for each method on independent test sets
测试集 F1值 准确率/％ 召回率/％ 精确率/％ Adaboost 0.55 0.56 0.55 0.55 bagging 0.66 0.65 0.68 0.67 KNN 0.76 0.75 0.77 0.77 logistic 0.72 0.75 0.74 0.72 MLP 0.69 0.69 0.71 0.69 nusvc 0.74 0.75 0.76 0.75 SVC 0.68 0.69 0.68 0.69 xgboost 0.60 0.60 0.62 0.59
下载: 导出CSV
表 3 不同机器学习框架在COVID-19独立测试集上的性能
Table 3 Performance of different machine learning frameworks on COVID-19 independent test sets
Group/COVID-19 敏感性/% 特异性/% AUC P KNN 77 67 73 P<0.001 3D CNN 78 69 76 P<0.001 Attention-MIL 90 96 85 P<0.001
下载: 导出CSV
-
[1] CHEN N, ZHOU M, DONG X, et al. Epidemiological and clinical characteristics of 99 cases of 2019 novel coronavirus pneumonia in Wuhan, China: A descriptive study[J]. Lancet, 2020, 395(10223): 507−513. DOI: 10.1016/S0140-6736(20)30211-7.
[2] GAO Y, YAN L, HUANG Y, et al. Structure of the RNA-dependent RNA polymerase from COVID-19 virus[J]. Science, 2020, 368(6492): 779−782. DOI: 10.1126/science.abb7498.
[3] LI Q, GUAN X, WU P, et al. Early transmission dynamics in Wuhan, China, of novel coronavirus-infected pneumonia[J]. New England Journal of Medicine, 2020, 382(13): 1199−1207. DOI: 10.1056/NEJMoa2001316.
[4] HOLSHUE M L, DEBOLT C, LINDQUIST S, et al. First case of 2019 novel coronavirus in the United States[J]. New England Journal of Medicine, 2020, 382(10): 929−936. DOI: 10.1056/NEJMoa2001191.
[5] AI T, YANG Z, HOU H, et al. Correlation of chest CT and RT-PCR testing in coronavirus disease 2019 (COVID-19) in China: A report of 1014 cases[J]. Radiology, 2020, 296(2): E32−E40. DOI: 10.1148/radiol.2020200642.
[6] FANG Y, ZHANG H, XIE J, et al. Sensitivity of chest CT for COVID-19: Comparison to RT-PCR[J]. Radiology, 2020, 296(2): E115−E117. DOI: 10.1148/radiol.2020200432.
[7] 刘玉建, 仲建全, 冯浩, 等. 新型冠状病毒肺炎患者的高分辨率 CT 影像学特征[J]. 医疗装备, 2022,35(11): 1−4. LIU Y J, ZHONG J Q, FENG H, et al. Imaging characteristics of high resolution CT for patients with corona virus disease 2019[J]. Medical Equipment, 2022, 35(11): 1−4. (in Chinese).
[8] HUANG C, WANG Y, LI X, et al. Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China[J]. Lancet, 2020, 395(10223): 497−506. DOI: 10.1016/S0140-6736(20)30183-5.
[9] MEI X, LEE H C, DIAO K Y, et al. Artificial intelligence-enabled rapid diagnosis of patients with COVID-19[J]. Nature Medicine, 2020, 26(8): 1224−1228. DOI: 10.1038/s41591-020-0931-3.
[10] CHEN Y, FAN S, CHEN Y, et al. Vessel segmentation from volumetric images: A multi-scale double-pathway network with class-balanced loss at the voxel level[J]. Medical Physics, 2021, 48(7): 3804−3814. DOI: 10.1002/mp.14934.
[11] YE H, GAO F, YIN Y, et al. Precise diagnosis of intracranial hemorrhage and subtypes using a three-dimensional joint convolutional and recurrent neural network[J]. European Radiology, 2019, 29(11): 6191−6201. DOI: 10.1007/s00330-019-06163-2.
[12] KERMANG D S, GOLDBAUM M, CAI W, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning[J]. Cell, 2018, 172(5): 1122−1131.e9. DOI: 10.1016/j.cell.2018.02.010.
[13] RAJARAMAN S, CANDEMIR S, KIM I, et al. Visualization and interpretation of convolutional neural network predictions in detecting pneumonia in pediatric chest radiographs[J]. Applied Sciences-Basel, 2018, 8(10): 1715. DOI: 10.3390/app8101715.
[14] WYNANTS L, Van CALSTER B, COLLINS G S, et al. Prediction models for diagnosis and prognosis of COVID-19 infection: Systematic review and critical appraisal[J]. British Medical Journal, 2020, 369: m1328. DOI: 10.1136/bmj.m1328.
[15] ZHANG X, WANG D, SHAO J, et al. A deep learning integrated radiomics model for identification of coronavirus disease 2019 using computed tomography[J]. Scientific Reports, 2021, 11(1): 3938. DOI: 10.1038/s41598-021-83237-6.
[16] HUANG Y Q, LIANG C H, HE L. Preoperative prediction of lymph node metastasis in colorectal cancer[J]. Journal of Clinical Oncology, 2016, 34(18): 2157−64. DOI: 10.1200/JCO.2015.65.9128.
[17] PARMAR C, GROSSMANN P, BUSSINK J, et al. Machine learning methods for quantitative radiomic biomarkers[J]. Scientific Reports, 2015, 15: 13087. DOI: 10.1038/srep13087.
[18] NIETHAMMER M, KWITT R, VIALARD F X. Metric learning for image registration[J]. Proc EEE Computer Society Conference on Computer Vision and Pattern Recognition, 2019: 8455-8464. DOI: 10.1109/cvpr.2019.00866.
[19] ZHANG X, LU D, GAO P, et al. Survival-relevant high-risk subregion identification for glioblastoma patients: The MRI-based multiple instance learning approach[J]. European Radiology, 2020, 30(10): 5602−5610. DOI: 10.1007/s00330-020-06912-8.
[20] LIU Y, FU Q, PENG X, et al. Attention-based deep multiple-instance learning for classifying circular RNA and other long non-coding RNA[J]. Genes (Basel), 2021, 12(12): 2018. DOI: 10.3390/genes12122018.
[21] DELONG E R, DELOONG D M, CLARKE-PEARSON D L. Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach[J]. Biometrics, 1988, 44(3): 837−845. doi: 10.2307/2531595
[22] SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization[J]. Proceedings of the IEEE International Conference on Computer Vision, 2017. DOI: 10.1109/ICCV.2017.74.
[23] MARTIN J, TENA N, ASUERO A G. Current state of diagnostic, screening and surveillance testing methods for COVID-19 from an analytical chemistry point of view[J]. Microchemical Journal, 2021, 167: 106305. DOI: 10.1016/j.microc.2021.106305.
[24] XU X, JIANG X, MA C, et al. A deep learning system to screen novel coronavirus disease 2019 pneumonia[J]. Engineering (Beijing), 2020, 6(10): 1122−1129. DOI: 10.1016/j.eng.2020.04.010.
[25] ABBAS A, ABDELSAMEA M, GABER M. Classification of covid-19 in chest X-ray images using DeTraC deep convolutional neural network[J]. Applied Intelligence, 2021, 51(2): 854−864. DOI: 10.1007/s10489-020-01829-7.
[26] GOZES O, FRID-ADAR M, SAGIE N, et al. Detection and analysis of COVID-19 in medical images using deep learning techniques[J]. Scientific Reports, 2021, 11(1): 19638. DOI: 10.1038/s41598-021-99015-3.
[27] CHEN J, WU L, ZHANG J, et al. Deep learning-based model for detecting 2019 novel coronavirus pneumonia on high-resolution computed tomography: A prospective study[J]. Scientific Reports, 2020, 10(1): 19196. DOI: 10.1038/s41598-020-76282-0.
[28] WANG S, KANG B, MA J, et al. A deep learning algorithm using CT images to screen for corona virus disease (COVID-19)[J]. European Radiology, 2021, 31(8): 6096-6104.
[29] LI Z, ZHONG Z, LI Y, et al. From community-acquired pneumonia to COVID-19: A deep learning-based method for quantitative analysis of COVID-19 on thick-section CT scans[J]. European Radiology, 2020, 30(12): 6828−6837. DOI: 10.1007/s00330-020-07042-x.
[30] CHOUAT I, ECHTIOUI A, KHEMAKHEM R, et al. COVID-19 detection in CT and CXR images using deep learning models[J]. Biogerontology, 2022, 23(1): 65−84. DOI: 10.1007/s10522-021-09946-7.
-
期刊类型引用(1)
1. 石家云，刘小峰，梁麟龙，谢齐放. 小儿支原体大叶性肺炎的诊断模型建立. 华夏医学. 2024(02): 150-155 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 199
- HTML全文浏览量: 55
- PDF下载量: 25
- 被引次数: 1
