肺癌是最常见的癌症类型，也是造成癌症相关死亡的主要原因之一^[1-2]。肺癌的组织学类型与其成因、进展及临床表现有密切联系^[3]，非小细胞癌患者占肺癌患者的80%以上，而LUAD和LUSC是最主要的组织学亚型^[4]。由于LUAD和LUSC在治疗和预后上存在显著差异，准确鉴别其组织学类型对临床诊疗至关重要^[5]。然而，当肺腺癌发生于中央支气管时，其影像学特征与肺鳞癌相似，增加了鉴别难度。目前，病理学检查仍是鉴别NSCLC组织学分型的金标准，但该方法具有侵入性，限制了其广泛应用^[6]。

随着深度学习技术的发展，卷积神经网络（CNN）在医学图像分析中展现出巨大潜力，为NSCLC的无创性诊断提供了新思路^[7-9]。然而，现有CNN模型在处理LUAD和LUSC影像特征重叠问题时仍存在局限性。因此，本研究提出一种改进的CNN模型ISANET，并基于医院和公共数据集构建计算机辅助诊断模型，旨在为NSCLC的无创性精准预测提供可行性手段。

1.   资料与方法

1.1   一般资料

回顾性分析河北大学附属医院2020年8月至2021年8月的1000例肺鳞癌、肺腺癌和正常患者的CT平扫及增强图像及临床信息。

纳入标准：①接受胸部CT平扫或增强检查；②病理结果证明肺部原发灶为肺腺癌或肺鳞癌，有且仅有一种原发肿瘤；③胸部CT图像无明显伪影，质量符合实验要求；④≥18岁。排除标准：CT图像质量差，达不到后处理要求。本研究最终纳入90例患者，男64例、女26例，年龄范围40~81岁。根据中华医学会2022年版肺癌临床诊疗指南^[2]，本组患者包括肺鳞癌29例，肺腺癌31例以及肺部未见明显异常30例，每位患者6~7张CT图像（层厚1.25 mm），共619张图片（肺鳞癌209张、肺腺癌202张和肺部未见明显异常208张）。

图像选取标准：①覆盖肿瘤最大截面；②包含典型影像特征（如分叶、毛刺）；③排除伪影严重的层面。

1.2   仪器与方法

为反映图像数据的异构性，采用多台不同的CT扫描仪进行胸部平扫和增强，包括GE New Revolution 256排CT扫描仪、GE Discovery^TMCT750 HD和联影uCT 520。扫描范围自肺尖至膈底水平，扫描参数如下：管电压120 kVp，管电流150 mA，层厚5 mm，薄层重建1.25 mm，螺距0.984，机架转速0.5 s/周，矩阵512×512，扫描视野50 cm×50 cm。增强扫描时，采用德国Ulrich missouri-XD 2001双管高压注射器经肘静脉注射非离子型碘海醇对比剂（350 mgI/mL，通用电气药业有限公司），剂量为体质量（kg）×0.8 mL/kg，流速3 mL/s，以相同速率跟注生理盐水30 mL。采用对比剂团注跟踪技术自动触发技术，触发阈值150 HU，感兴趣区（region of interest，ROI）放置在升主动脉，延迟5 s扫描动脉期，30 s扫描静脉期。

1.3   图像处理及模型构建

（1）图像预处理。从河北大学附属医院PACS系统获得的619张图片以DICOM格式输出，像素大小为512×512。首先对图像进行预处理，使用3 D slicer对图像进行配准后，使用Python的SimpleIT及Photoshop开源工具包将上述图片像素放缩为256×256，命名为DatasetA。

本研究还使用Kaggle公开数据集中的“Chest CT-Scan Images Dataset”进一步验证ISANET模型的性能，命名为DatasetB。原始数据包含4类（肺鳞癌、肺腺癌、小细胞肺癌、正常）。本研究剔除小细胞肺癌类别，保留肺鳞癌（252张）、肺腺癌（326张）和正常（159张）共737张图像。筛选标准为：①病理确诊；②图像分辨率≥512×512；③无运动伪影。训练集和测试集的比例为6∶4。为使图像识别更准确，本研究使用ImageNet数据集进行预训练^[10]。预训练后，ISANET模型能够分辨1000种对象类别，学习到大量CT图像的特征。此外，为了防止模型过拟合，本研究对图片做增强处理，将图片按照0.5的概率随机进行水平或垂直翻转，同时随机更改图片亮度、对比度及饱和度（图1）。

图  1  数据增强处理模式图

Figure  1.  Data augmentation

下载: 全尺寸图片 幻灯片

（2）ISANET模型构建。基于Inception系列CNN模型能够提取丰富图像特征的优势，本研究旨在让该模型聚焦于病理区域，使之能更好的识别出相似度高的非小细胞肺癌CT图像间的差异。因此，本研究基于InceptionV3模型并引入了注意力机制，采用二分类的交叉熵损失函数，提出了一种改进CNN模型，即ISANET模型（相关结构和输入大小详见图2）。

图  2  ISANET结构

Figure  2.  The structure of ISANET

下载: 全尺寸图片 幻灯片

由于InceptionV3最后一个模块的第2个层处经过第1个模块的通道数仅有1280，而此后的两个模块通道数均为2048，会导致重要特性信息被忽略。因此，本研究将通道注意力机制（channel attention mechanism，CAM）的挤压扩张（squeeze and excitation，SE）模块添加于上述位置（图3）。

图  3  通道注意力机制结构

Figure  3.  The structure of CAM

下载: 全尺寸图片 幻灯片

除添加上述通道注意力机制之外，本研究还将空间注意力机制（spatial attention，SA）模块添加于最后一个模块之前，用来降低运算量，加强关键信息的提取，同时增强模型的识别效能，使模型聚焦于特征图中权重更大的区域（图4）。

图  4  空间注意力机制结构

Figure  4.  The structure of SA

下载: 全尺寸图片 幻灯片

（3）运行条件与参数。本研究使用1.8.0版本的Pytorch平台进行实验，配备了NVIDIA RTX 3090 GPU，且python的版本为3.8.11。本研究的实验模型基线为Inception的主干部分，即直到卷积层部分结束。本研究在最后一层卷积后添加了通道注意力机制，删除了最后一层池化层，同时在最后一个模块前增加了空间注意力模块。本研究使用Adam优化器，采用Lambda LR作为学习率衰减策略，将学习率设置为1 e-5。在epoch 0-4，学习率保持为1 e-5；在epoch 5-9，学习率变为1 e-5×0.6；在epoch 10-14，学习率变为1 e-5×（0.6²）。权重衰减为0.96。单次实验输入图片数为8，迭代次数设置为50。

四、统计学分析

本研究使用python 3.8.11软件进行统计学分析。通过记录查准率（precision，PRE），召回率（sensitivity，SEN），并计算出F1分数（F1-score，F1），同时勾画出P-R曲线，评价和比较不同模型的性能。0.5 < P-R曲线下面积（average precision，AP）≤0.7为诊断效能较低，0.7 < AP≤0.9为诊断效能中等，AP > 0.9为诊断效能较高。

其中：TP表示正确区分的非小细胞肺癌类别的数量，TN表示错误识别的非小细胞肺癌类别的数量，FP表示正确识别为非目标类别的数量，FN表示错误识别为非目标类别的数量。

2.   结果

本实验通过DatasetA和DatasetB两个数据集，首先探讨ISANET模型的性能，并与包括AlexNet，MobilenetV2，VGG16，InceptionV3和ResNet18在内的5个常用的传统CNN模型进行对比，分析并验证了ISANET模型对于非小细胞肺癌计算机辅助诊断的性能。

2.1   ISANET模型的性能

在DatasetA和DatasetB中，ISANET模型训练集和测试集的准确率和损失曲线如图5所示。结果表明，20 Epoch之后，该模型的准确度趋于稳定。本研究还采用绘制混淆矩阵图的方式，用以评价模型的性能（图6）。如图所示，彩色标记的对角线数值表示模型正确识别为正确目标的图片数，图示结果表明ISANET模型的识别正确率较高。

图  5  ISANET模型在不同数据集中的准确率和损失曲线

Figure  5.  Accuracy and loss curves of ISANET on different datasets

下载: 全尺寸图片 幻灯片

图  6  ISANET模型在不同数据集中的混淆矩阵

Figure  6.  Confusion matrix of ISANET on different datasets

下载: 全尺寸图片 幻灯片

2.2   ISANET模型与传统CNN模型的性能对比

为了验证ISANET模型的分类器性能，本实验将其与AlexNet，VGG16，InceptionV3，MobilenetV2，ResNet18进行对比实验，并列出上述所有模型DatasetA和DatasetB中D的查准率、召回率、F1值的平均值（表1和表2）。本研究绘制上述所有模型在DatasetA和DatasetB中的P-R曲线（图7）。结果显示，代表ISANET模型的红线位于所有曲线外侧，分别达到了0.996和0.952，这说明ISANET模型准确度最高、模型性能最好。各模型在两数据集中的准确度（即AP值）（表3）。

表  1  不同模型在DatasetA中的查准率、召回率和F1值比较情况

Table  1.  Comparison of precision, sensitivity, and F1 score of different models in dataset A

算法名称	腺癌				鳞癌				未见明显异常
	查准率	召回率	F1值		查准率	召回率	F1值		查准率	召回率	F1值
ISANET	0.898	0.925	0.906		0.946	0.914	0.928		0.959	0.985	0.968
AlexNet	0.870	0.852	0.854		0.863	0.895	0.872		0.994	0.999	0.996
VGG16	0.798	0.789	0.761		0.764	0.857	0.771		0.995	0.992	0.994
InceptionV3	0.974	0.807	0.873		0.754	0.941	0.824		0.961	0.954	0.951
MobileNetV2	0.640	0.902	0.733		0.933	0.711	0.799		0.959	0.963	0.953
ResNet18	0.919	0.929	0.919		0.927	0.905	0.911		0.960	0.992	0.969

下载: 导出CSV 

| 显示表格

表  2  不同模型在DatasetB中的查准率、召回率和F1值比较情况

Table  2.  Comparison of precision, sensitivity, and F1 score of different models in dataset B

算法名称	腺癌				鳞癌				未见明显异常
	查准率	召回率	F1值		查准率	召回率	F1值		查准率	召回率	F1值
ISANET	0.911	0.824	0.862		0.754	0.882	0.808		0.937	0.942	0.936
AlexNet	0.846	0.740	0.779		0.575	0.816	0.646		0.992	0.895	0.941
VGG16	0.814	0.720	0.717		0.507	0.668	0.531		0.964	0.949	0.952
InceptionV3	0.883	0.835	0.849		0.758	0.824	0.777		0.876	0.938	0.882
MobileNetV2	0.896	0.748	0.805		0.601	0.858	0.670		0.939	0.904	0.910
ResNet18	0.831	0.866	0.842		0.792	0.785	0.788		0.989	0.874	0.926

下载: 导出CSV 

| 显示表格

图  7  各模型在不同数据集中的P-R曲线

Figure  7.  P-R curves for each model in different datasets

下载: 全尺寸图片 幻灯片

表  3  各模型在不同数据集中的准确度

Table  3.  Accuracy of each model in different datasets

算法名称	Dataset A	Dataset B
ISANET	0.996	0.952
AlexNet	0.951	0.854
VGG16	0.939	0.901
InceptionV3	0.980	0.946
MobileNetV2	0.964	0.932
ResNet18	0.992	0.939

下载: 导出CSV 

| 显示表格

2.3   消融实验结果

本研究通过多组消融实验评估ISANET模型的有效性。消融实验中，图片大小均缩放为299×299，两数据集均不进行预训练，其他数据预处理与对比实验均一致，以期实验结果更明显。本研究主要增加了SE模块和SA模块。因此，本研究的3组消融实验包括：①只保留SE模块为A组；②只保留SA模块为B组；③SE模块和SA模块均保留的ISANET模型为C组。此外，将上述3组与D组（未保留SE模块和SA模块的InceptionV3模型）进行对比（表4）。

表  4  消融实验结果

Table  4.  The results of ablation experiments

组别	Dataset A	Dataset B
A组	0.806	0.745
B组	0.810	0.735
C组	0.854	0.796
D组	0.802	0.721

下载: 导出CSV 

| 显示表格

3.   讨论

非小细胞肺癌的组织学分型目前已显著影响其诊断，并对患者的治疗和预后有着重要的指导意义。尽管组织病理学与分子生物学是分析肿瘤异质性的金标准，但获取组织标本不仅有创、可重复性差，而且由于标本取材的限制，常有不能反映肿瘤组织的整体状况的情况出现，因而开发和研究无创性非小细胞肺癌无创检测工具成为研究热点和难点。本研究采用基于注意力机制的改进CNN模型对肺鳞癌和肺腺癌进行分类，并建立计算机辅助诊断模型，为无创鉴别非小细胞肺癌提供新途径，为这类患者的治疗和预后评估提供了帮助。

目前，深度学习已经在肺癌领域开展了广泛的研究，也取得了良好的效果。在肺癌分类和检测中，已有研究者采用CNN模型对肺癌CT图像进行分类识别并预测，准确率达到71.00%~94.78%^[11-20]。除了肺癌CT图像辅助诊断外，CNN模型也被应用于乳腺癌、皮肤癌、脑肿瘤和肾癌等疾病的研究^[21-25]。由此可见，CNN在肿瘤医学图像研究领域有着巨大的潜力，为无创性诊断非小细胞肺癌提供了可能。但是，当网络深度超过阈值时，传统的CNN模型将出现梯度消失和性能饱和，增加其计算和存储负荷。因此，Google提出了Inception系列模型，采用不同大小的卷积核，提取不同尺度的图像信息，最后在通道完成信息组合，从而优化图像表征^[26]。InceptionV3的开发者将二维卷积核直接拆分成非对称卷积核，ImageNet的分类实验证明该模型性能优于前两代模型，尤其针对多层数的网络，可简化计算量并处理更多的空间特征^[27-28]。为使特征图转换更简单自然，同时减少训练参数，除最后一层全连接层保留外，InceptionV3其他的全连接层均使用平均池化层（average pooling，AP）代替。此外，InceptionV3采用批归一化（batch normalization，BN）的方式防止梯度消失，不仅节约了计算资源，而且解放了对内存的巨大需求。

本研究通过建立基于InceptionV3卷积神经网络的ISANET模型，最终Dataset A和Dataset B对于非小细胞肺癌预测准确度分别为99.6%和95.2%。相比于传统的基于CNN模型预测非小细胞肺癌组织学分型，本研究使用的ISANET模型获得了更高的准确度，表明ISANET卷积神经网络可以提供较高的分类置信度。同时，本研究增加了多组消融实验，以最大限度验证SE模块和SA模块的作用。对于Dataset A，A组准确度提高了0.40%，B组则提高了0.80%，即增加SE或SA模块使精确度略微提。这可能是因为Dataset A中的图片清晰度和质量优于Dataset B，使得模型能够更容易地识别出存在于相似度高的两种类别图片中的差异性。而C组中ISANET模型的准确度较Inceptionv3提高了5.20%。对于Dataset B，各组精确度相较于D组明显提升，A组提高了2.30%，B组提高了1.40%，两模块结合的C组提高了7.50%。消融实验结果表明，注意力机制使得ISANET模型能够更好的学习图像的特征，同时证明了添加注意力机制可提升肺鳞癌和肺腺癌分类的准确度。

此外，本研究选择肺部CT平扫和增强图像原因在于临床更易收集，图像分辨率较高，图像预处理较少。而肺部CT增强通过注射碘对比剂可以反映更多的肿瘤异质性^[29]。传统的影像组学研究需要人工分割，该过程耗时耗力，与减轻影像医师的日常工作负担的目的相悖^[30]。而本研究的图像未预先进行人工分割，但与传统的影像组学模型相比，本研究取得的更高的准确度，节约了时间和人工成本。由于深度学习中的图像特征提取性能非常依赖数据量，若要进一步提高模型准确度以用于临床，最有效的办法是增加海量数据^[31]。

本研究存在一定的局限性。首先，尽管模型在现有数据集上表现优异，但样本量较小可能限制其泛化能力。未来将通过交叉验证（如5折交叉验证）和外部独立数据集验证进一步评估模型稳定性。其次，本研究仅着眼于CT平扫和增强图像，未选取其他影像学图像，如MRI和PET/CT等。最后，本研究纳入的数据均为成年人，未将未成年人纳入，未来有必要进一步扩大年龄群的构成。在未来的研究中，我们将邀请其他权威机构继续合作开展多中心研究，进一步增大数据量以期获得更好的模型性能，提升其临床适用性，并尝试纳入MRI和PET/CT图像以期进一步提高模型的可靠性。

综上所述，基于卷积神经网络和注意力机制的深度学习非小细胞肺癌计算机辅助诊断模型ISANET可用于肺鳞癌和肺腺癌的无创预测，为不能耐受手术或者无法进行病理活检的患者制定治疗方案提供更多信息，同时帮助影像医师对非小细胞肺癌进行准确分类，为实现肺癌精准诊断和治疗提供新思路和新方法。