安全检查是货物运输和旅客出行安全保障不可或缺的重要环节，安检技术也在持续的发展进步。目前，能够对货物和行李包裹实施非侵入式查验的X光机已经广泛的应用于各种类型的安检场景，经过培训的工作人员判读X光机生成的二维扫描图像后，给出安全放行或者拦截开检的结论。由于二维图像中可能存在物体之间相互遮挡以及复杂多样的背景物体的干扰，机场、海关等场所正在逐步增加更先进的安检CT扫描设备的部署应用^[1]。三维CT图像为安检员准确辨识禁止运输或携带的目标物提供了更多的信息，使得改变不同的视角检查图像成为了现实，并为基于密度和等效原子序数等特征区分不同的材料提供了可能性。研究表明，虽然目前的三维图像质量与二维X光机图像相比视觉感受仍有不足，三维成像能够使安检员更好的辨识威胁^[2]。

无论是判读二维X光机图像还是三维CT图像，人类安检员的表现存在主观性，且严重依赖于经验，疲劳、工作单调乏味等因素导致注意力不集中，影响了安检质量的可靠性和稳定性。为了缓解上述问题，实际场景中也采取了基于危险品图像插入（threat image projection，TIP）的培训和考核、更短的换班时间等一系列积极的措施，成本也不断增加，却并不能有效消除安检漏洞，毕竟安检员需要在极为有限的时间内从混乱的背景物体中辨识出包裹中存在的可能威胁，保证正常的安检通过率，这是一个难度极大的挑战性任务。因此，任何自动化、半自动化或辅助完成识别任务、减轻安检工作人员压力的尝试都是极有意义的。

由于二维X光机图像模态更接近研究广泛的可见光图像且存在一批公开数据集，对于二维安检图像中目标物自动识别方法的研究较为深入^[3-4]。然而对于三维CT图像，简单的将二维方法拓展到三维并不可行，一方面由于维度的变化使得三维数据量增长了2～3个数量级，对于识别效率的要求却并未降低；另一方面由于算力和内存限制，难以利用与二维方法中同样复杂的深度神经网络结构。

此外，与三维图像中目标物识别相关的研究来自于医学和自动驾驶等领域。相比安检CT领域仅有公开数据集ALERT包含188个包裹421个目标物，医学领域已有DeepLesion、NLST、TCIA、LIDC-IDRI、MICCAI、ISBI、BraTS、LiTS、WORD等一批公开三维数据集，其中DeepLesion包含约1万组CT扫描图像的超过3.2万个病灶标注，NLST收集了超过7.5万组肺部CT扫描图像的超过17万处异常的信息。自动驾驶领域也有KITTI、Waymo、ApolloScape、BLVD、Synthia、Oxford RobotCar、nuScenes、Argoverse、A2D2等10余个公开三维数据集，其中KITTI针对3D目标检测任务提供了1.5万张图像超过8万个标记对象，Waymo含有超过20万帧图像的约1200万个3D标注框。3D CNN模型已被用于医学CT/MRI图像^[5-6]、激光雷达点云数据^[7-8]、RGBD数据^[9-10]的物体分类和检测。

Hu等^[5]对基于医学图像的肿瘤检测和诊断研究工作进行了综述，其中多数方法应用了3D CNN的技术；Monkam等^[6]回顾了基于3D CNN的CT图像中肺结节检测和分类工作进展。医学CT/MRI图像具有亚毫米级近各向同性的分辨率，自动识别研究一般限定于特定的器官或疾病，可以利用任务有关的先验信息，器官数量和布局是固定已知的，任何偏离将被视为异常。然而在安检场景中由于高通过率的要求，CT图像普遍具有毫米级各项异性的分辨率，图像质量相对较低且包含较多的噪声和金属伪影；扫描对象也是无限制的，包裹中可能包含不确定数量和种类的物品，即便已知物品的种类和数量，其组合和相对位置也有无数种可能，因此可利用的先验信息很少。

在自动驾驶领域，感兴趣目标如车辆行人等有相对固定的尺寸和朝向，行人的3D包围框在不同的场景中有类似的尺寸比例，行人应当是站立的姿态，这些先验知识可以用于生成候选框和减少误报，然而这种先验知识在行包目标检测中不成立，行包中的违禁品可以有任意的尺寸、朝向和位置。自动驾驶数据集如KITTI^[11]中一组典型的点云包含约1万个点，点云中复杂的背景物体通常与目标物是分离的，相对容易处理，然而一组典型安检CT扫描数据通常包含1亿个以上的体素，箱包中的目标物往往与其它物品距离很近且交叠在一起。总之，安检CT图像的目标物识别方法也不能机械借鉴医学或自动驾驶领域，仍需要兼顾准确率和效率针对性的开展研究。

虽然安检CT图像自动识别领域已存在几篇综述性文献，如文献[4、12-13]。其中Crawford等^[12]和Mouton等^[13]仅总结了2015年以前的工作，缺少近年来的特别是深度学习技术的应用研究进展；Velayudhan等^[4]涉及的内容包括了对X射线成像系统的介绍和数据集，但重点在于2D X射线图像中的危险目标识别，对于3D图像中的危险目标识别方法的分析不够全面，且着重于经典图像分析和机器学习方法。本文不仅对于2015年以来本领域的代表性学术研究成果进行系统总结，而且首次将工业界的相关专利也纳入分析范围，从而使本领域研究人员能够更全面的了解最新的研究进展和发展趋势。

1.   归类法

已有的安检图像自动识别综述性文献中常见两种归类法，一种是根据技术路线划分，一般包括经典图像分析方法、机器学习方法和深度学习方法；另一种是根据任务类型划分，一般包括目标物分类方法、检测方法和分割方法。然而既有研究工作往往会综合使用多种技术路线，并在多个任务类型上进行实验验证，使得上述两种归类法的可分性略显不足。

本文除了继续沿用这两种归类法之外，根据计算空间维度的差异提出一种新的归类法，即二维识别方法和三维识别方法，前者在二维空间完成最主要的识别计算，其中有的方法会将二维识别结论整合以获得三维空间中的识别结论，后者则直接在三维空间完成所有的识别计算并输出识别结论。

根据上述3种归类法，我们对检索到的代表性学术研究成果和相关专利进行多标签归类，归类结果列于表1中，每篇文献的主要技术思路简述于本文的第2和第3部分。文献及其简要描述按论文发表或专利公开时间顺序一览如图1。为了增强可分性、避免交叉，在第2和第3两部分的叙述中我们仅使用计算空间维度归类法。

表  1  3种归类法及文献归类结果

Table  1.  Three taxonomies and literature classification results

归类法	技术路线				任务类型				计算空间维度
	经典图像 分析方法	机器学习 方法	深度学习 方法		分类方法	检测方法	分割方法		二维识别 方法	三维识别 方法
文献多 标签归 类结果	[14][19] [20][22] [26][29] [30][34]	[17][18] [20][21] [22]	[15][16] [23][24] [25][26] [27][28] [29][30] [31][32] [33]		[16][17] [20][21] [22][23]	[14][15] [16][19] [23][24] [25][26] [27][28] [29][30] [31][33] [34]	[15][16] [18][19] [20][21] [22][25] [26][29] [30][32]		[14][15] [16][26] [27][28] [29][30] [31][32] [33]	[17][18] [19][20] [21][22] [23][24] [25][34]
注: 黑色字体文献为学术论文，蓝色字体文献为专利申请。

下载: 导出CSV 

| 显示表格

图  1  文献按论文发表或专利公开时间顺序一览图

Figure  1.  Chronological overview of relevant literature

下载: 全尺寸图片 幻灯片

2.   论文方法简述

2.1   二维识别方法

文献[14]基于箱包中的大多数液体包括危险液体都有一个水平表面的特点，提出了一种两阶段的几何拟合方法以自动定位CT数据中的液体表面，而无需样本训练过程。第1阶段使用RANSAC技术在连续多个水平切片中拟合一个三维平面方程的参数，第2阶段在第1阶段结果的基础上拟合一个二维椭圆方程的参数。测试数据使用Reveal公司的CT-80XL采集并插值为各项同性的CT数据，测试集为100个包裹，其中15个没有包含液体。第1阶段液体表面所在平面的检出率达到98％，两个阶段后液体表面具体位置的检出率为85％、误报率为12％。

文献[15]提出了一个基于伪标签的半监督学习框架，使用有限的切片标注数据训练二维语义分割网络，识别无固定形状特征的违禁品物质。以少量人工标注的切片数据训练一个语义分割模型，使用该模型对其它不带标注的切片数据进行伪标注，然后用3个方向的所有切片数据及其标签重新训练一个语义分割模型。预测时3个方向的分割结果可以使用投票方式融合获得更准确的分割结果。对于分割结果进行形态学运算和联通区域分析等后处理，获得目标检测结果。在ALERT数据集^[35]上实验，结果表明即便使用有限的切片标注数据，半监督学习方法能够获得与全监督方法相近的违禁品物质识别性能，各类别综合的精度/召回达到91.2％ 和87.5％，检出率/误报率达到90％ 和3％。

文献[16]提出了一种先切片后融合的识别框架，并设计了两种检测器，即一步法的Retinal-SliceNet和两步法的U-SliceNet。切片操作沿着3个正交坐标轴方向进行，通过特定厚度切片的最大池化，将体数据转换成若干幅2D图像。对于Retinal-SliceNet检测器，获得每幅2D图像中的目标包围框和置信度，将每个坐标轴方向上的2D预测结果累积成3D预测结果，对3组3D预测结果逐体素平均池化完成融合操作。对于U-SliceNet检测器，获得每幅2D图像的像素级类别标记，通过上述累积和融合操作得到3D预测结果，基于3D预测结果设定若干个锚框，使用枪支3D分类网络和锐器3D分类网络分析每个锚框，输出整个包裹的分类结论，或者生成目标物更精细的语义分割结果。实验使用IDSS公司DETECT 1000采集的含枪支和锐器的1001组真实数据和15700组合成数据，以及11400组无目标物数据，得出了Retinal-SliceNet在箱包分类和目标检测任务、U-SliceNet在语义分割任务上的定量实验结果，单包单卡推理计算时间约为5～20 秒。

2.2   三维识别方法

文献[17]实验对比研究了基于词袋模型（bag of words，BoW）从人工分割的包裹CT图像中识别危险品的适用性，对比4种3D描述子，即密度直方图、密度梯度直方图、3D SIFT、3D RIFT，还对比了3种码书赋值方式，从而决定了最优的模型参数组合。实验数据为使用Reveal公司CT-80DR采集的CT数据并经过各项同性插值。其中手枪正负样本分别为284/971组，瓶子正负样本分别为534/1170组。在人工分割的手枪和瓶子的分类实验中，3D SIFT关键点位置采样的密度直方图描述子具有最高的识别准确率，瓶子的检出率89.3％误报率3.0％，手枪的检出率97.3％ 误报率1.8％，同时基于3D SIFT和3D RIFT描述子的识别性能明显降低，体现了光学反射成像和透视成像两种模态的差异。

文献[18]没有采用将物体分割和识别作为两个独立步骤的常规做法，提出了一种分割和识别任务联合学习框架。该框架定义了多标签（感兴趣目标、金属、背景）离散优化目标函数并用图割算法求解。目标函数有两项，一是基于P-KNN算法^[36]得到每个体素属于某种标签的似然函数值，其中靠近金属区域体素的权重将被降低，金属区域由二值（金属、非金属）离散优化目标函数估计；二是基于边界场计算相邻体素标签的空间平滑函数值。实验仅用到了ALERT数据集中两个包裹的切片，一个包裹用于训练，另一个包裹用于测试，虽然体素标签估计的定性和定量结果表明了方法的有效性，但未经性能优化的算法CPU处理时间长达2 小时。

文献[19]着重探讨了从CT图像中自适应识别违禁物品的方法，给定拟识别的物体需求描述（object requirement specification，ORS），包括感兴趣目标的材料组成（如密度或线性衰减系数的范围）、物理特征（如质量和厚度）、性能指标（检出率和误报率），系统不必重新训练分类器，即可适用于变化的需求。为此作者提出一种空间一致性松弛方法，此方法首先利用ORS生成的条件概率密度函数为每个体素计算最可能的材料组成，将CT图像转换为ID图像，从而将CT图像分割为若干子区域，为每个体素和每个子区域计算分类统计值，将分类统计值与决策阈值进行比较以判定正确检出或误报的体素和子区域。所谓松弛体现在每个体素的分类统计值是在其空间邻域内计算的条件概率密度值的平均值，一致性松弛参数即邻域大小，参数越大，分割的子区域越完整，但过大的参数可能会导致欠分割。文中提出了3种性能评估方法，分别是基于子区域的性能评估（包括材料组成和物理特征）、基于体素的性能评估（仅包括材料组成）、基于体素的性能评估（包括材料组成和物理特征），并分别在ALERT数据集上进行实验，给出了不同决策阈值下检出率和误报率的ROC曲线。文中还讨论了结合ORS中的性能指标需求和ROC曲线自动估计不同违禁物品决策阈值的方法。本方法使用CPU单核处理一幅512×512×400的单能CT图像约需15～30 秒。

文献[20]提出一种3D物体分割和分类方法，其中无监督分割基于材料属性（即双能索引值），首先使用多段阈值化和连通成分分析获得粗分割结果，训练一个随机森林评估器对粗分割得到的每个物体计算质量评价分数，分数过低的物体需要细分割，细分割通过寻找并移除物体表面体素中的“热点”结合形态学操作实现。在3D物体分类阶段，原始特征为密集采样的3D关键点位置的密度直方图，每个物体的特征向量由ERC随机森林^[37]对原始特征进行编码得到，分类器为使用RBF核函数的多类支持向量机。实验数据为Reveal CT-80DR采集的箱包数据，手枪正/负样本分别有208/150组，瓶子正/负样本分别有146/190组。该工作对比了4种去噪或金属伪影移除（metal artefact reduction，MAR）预处理方法，即简单的阈值操作、非局部平均^[38]、基于线性插值的MAR、距离驱动的MAR，发现两种MAR方法对分类准确率提升有限但会导致运行时间的严重增加。综合性能最优的非局部平均预处理方法，手枪的检出率TPR/误报率FPR分别为96.63％/1.33％，瓶子的TPR/FPR分别为100％/2.11％。

文献[21]提出了两阶段的方法解决自适应目标识别问题，即在第1阶段争取尽量高的召回率且无需针对变化的识别需求重新调整，在第2阶段依据新需求对系统整体性能进行精调。其中第1阶段使用基于图的算法分割得到候选物体集合，第2阶段基于归一化密度直方图等特征训练随机森林分类器。识别需求变化时，使用高斯加权函数对训练样本的权重进行动态调整后重新训练第2阶段的分类器。ALERT数据集上的实验表明，该自适应方法的识别性能不差于用传统方法从头训练一套分类器，成本则显著降低。

文献[22]研究了爆炸物等主要依靠材料属性识别的危险品自动识别（automatic threat recognition，ATR）技术，包括自适应识别问题。该项工作首先设计多尺度形态学算子，通过反复迭代进行基于形状特征的3D图像分割，然后进行基于强度特征的分割，以处理贴合紧密但材料不同的物体；随后训练4类SVM分类器以识别ALERT数据集中的盐水、橡胶、粘土和其它物质等4个模拟物类别。该项工作还通过加上一个根据检出率需求确定的偏移值调整分类器输出概率，实现了能够自适应危险品类型和检出率等可变需求的ATR。

文献[23]探索了3D CNN和主流目标检测框架在安检CT图像违禁品分类和检测中的应用，其中ResNet和Voxception-ResNet被用于3D违禁品分类的实验，Faster R-CNN和RetinaNet被用于3D违禁品检测的实验。实验数据来自于Reveal CT-80设备采集的瓶子和手枪的图像。用于分类实验的人工分割的瓶子数据集1704个样本，手枪数据集有1255个样本，评估指标为检出率TPR和误报率FPR，两类目标物的TPR约98％，FPR约1.5％。用于检测实验的瓶子数据集有305个箱包526个实例，手枪数据集有267个箱包282个实例，检测实验的评估指标为平均精度（mean average precision，MAP），瓶子和手枪的mAP分别约为76％ 和88％。

文献[24]在文献[23]的基础上尝试用单一模型解决多类别3D目标检测问题，基于多种不同的骨干网络设计了3D RetinaNet。由瓶子、手枪、望远镜、Glock套筒座、iPods 5个类别构成的数据集包含478组真实CT图像和287组合成CT图像。5类最优的召回Recall分别为74％、91％、87％、54％ 和57％，对应的精度Precision分别为81％、75％、78％、64％ 和33％，其中Glock套筒座和iPods两类的误报较多导致召回率和精准度较低。实验发现合适的数据增强技术有利于提升检测器的性能。

文献[25]研究了从CT体数据中检测炸药、毒品等无特定形状但由特定材料构成的物质，把这一问题定义为三维语义分割问题。该工作尝试两条不同的技术路线，一是应用3D U-Net及其变种从三维体数据中提取特征并给出体素级的语义分割结果；二是先通过体素筛选和采样将三维体数据转换成点云数据，再应用pointnet^[39]/pointnet++^[40]从点云数据中提取特征并给出体素级的语义分割结果。两条技术路线都需要对分割结果进行后处理运算将分割结果转化为目标检测结果。在ALERT数据集上测试对比两种技术路线的性能，指出第1条技术路线的分割和检测效果明显优于第2条技术路线。此外，该研究仅分析了网络推理步骤的计算复杂度，缺少整个检测过程的运算效率。

3.   专利方法简述

3.1   二维识别方法

文献[26]基于CT断层图像判断物体中是否有燃爆物，给出燃爆物报警；基于物体的二维投影图像完成燃爆物之外的违禁品识别，给出违禁品报警；二维投影图像可能是扫描直接得到，或者从物体的原始投影数据重组而来，或者从三维断层图像投影而来。其中，将CT断层数据沿Z向（即物体运动方向）累加后进行360°正投影形成正弦图，正弦图上宽度最大的行所对应的视角方向设定为优选的二维投影视角方向。

文献[27]可对三维CT数据设定任意多个方向（不限于安检过程中物体行进方向的正交方向），按照所述多个方向进行投影或渲染，生成多个二维降维视图；针对任意多个二维视图进行目标物识别，获得目标物的二维语义描述集合；将所述二维语义描述集合利用反投影技术映射到三维空间，获得语义特征矩阵，并将语义特征矩阵压缩为三维概率图；对三维概率图进行特征提取，例如连通区域分析、主成分分析等运算，获得三维图像语义描述集合以及目标物的三维识别结果。

文献[28]围绕X轴、Y轴或Z轴对三维数据旋转不同角度，并对每个角度下的三维几何结构体数据进行投影形成投影图像，根据图像识别方法对不同角度的投影图像进行目标物识别，获得每一幅投影图像中的若干个包围框。在沿着同一坐标轴旋转得到的若干幅投影图像中，同一个物体的包围框的二维坐标中总有一维近似相同。基于这一特点，设计坐标匹配算法判断某角度的投影图像中的包围框与另一角度的投影图像中的包围框的差异指标是否小于预设阈值，若小于预设阈值则认为表征了同一个物体。最后同一个物体在所有投影图像中的包围框在三维空间中进行切割融合，得到某一目标物的三维包围框。

文献[29]和文献[30]在投影图像中检测瓶、罐等容器的边界框，根据不同角度的识别结果进行交集运算，得到容器三维识别的边界框；从每个二维断层中分割出若干个二维物体，并根据二维物体特征相似性的综合评分，将具有连通性的二维物体组合形成三维物体，完成三维物体分割；将每个三维物体的边界框与识别出的容器的边界框进行匹配，判断三维物体是否被一个容器包裹着；如果是，则该三维物体进入液体和粉末状爆炸物识别库进行匹配；如果不是，则该三维物体进入固体爆炸物识别库进行匹配。

文献[31]和文献[32]两份专利与其他学术机构早期发表的SliceNets论文^[16]中的方法完全相同，其中文献[31]等价于SliceNets中的一阶段检测器，文献[32]等价于SliceNets中的二阶段检测器。

文献[33]将待检测目标的三维体数据转化为二维切片数据，转化方法与SliceNets^[16]雷同；然后对二维切片数据利用RPN（region proposal network）等网络进行预分割得到多个单独的待检测子目标；将每个待检测子目标进行多个方向的投影得到多个待检测子目标的二维投影图像，利用预训练的目标检测模型，对每个所述待检测子目标的二维投影图像进行目标检测识别，获得对应的检测结果；将所述检测结果按照投影时的方向反映射回CT重建图像中，得到各个物品的三维包围框信息，实现对待检测目标的三维目标检测。

3.2   三维识别方法

文献[34]基于密度、等效原子序数、形状等特征识别物品之间的边缘，将三维图像分割为一系列的物品；从物品中识别电子产品等容易藏匿炸药等违禁品的藏匿容器；对所有物品或者藏匿容器，通过沿着物品主轴分层等方式将物品划分为若干个子区域，依据子区域中CT值（密度和/或等效原子序数等）的分布将每个子区域分类为安全或有嫌疑，如果一个子区域被分类为有嫌疑，则该物品乃至整个包裹即可判定为可能藏匿有违禁品。

4.   结论

通过总结分析2015年以来安检CT图像目标物识别方法的代表性文献，不难看出有以下几个特点。

（1）本领域研究成果近3年来呈现明显上升态势，特别是工业界出现了较多的专利申请：主要原因在于部分国家地区或者行业出台了引导性的政策，使得安检CT扫描设备部署应用规模显著增长，从而吸引了更多的研究资源和企业投资。

（2）学术界和工业界的研究路径和关注重点存在明显差异。学术界的技术路线和任务类型呈现多元化特点，兴趣广泛，同时计算空间维度以三维识别为主，偏好技术难度更高、更富有挑战性的目标。工业界的技术路线则结合使用跨代的经典图像分析方法和深度学习方法，任务类型聚焦于目标物检测，计算空间维度以相对成熟的二维识别为主，实用化色彩浓厚，选择研究路径以成本低和能够满足现场应用需要为出发点。

（3）本领域研究的广泛性和影响力仍然有较大的上升空间。从公开发表的文献数量和频度来看，本领域与可见光图像中目标物识别领域的研究参与度不具有可比性，即使与二维X光机图像中目标物识别领域相比研究力度也有一定的差距，这一现象是与安检行业原始数据的敏感性以及安检CT公开数据集的稀缺性密切相关的，ALERT^[35]是本领域目前仅有的半公开数据集，且并非实际应用现场的真实数据。

在系统回顾现有文献研究成果的基础上，并深入思考本领域痛点和趋势，我们针对新的研究方向提出如下3点建议。

（1）研究巨大类内差异下的学习和表征。有的目标物类别中不同实例存在形状、结构或材料的显著变化，如生活刀具、自制爆炸装置等，依靠训练数据集覆盖所有变化或者数据增强是不现实的。

（2）研究仅学习正常样本的目标物检测。本领域普遍存在无安全风险的正常样本，包含违禁品的样本稀缺而且不同类别的样本数量也严重不均衡，通过学习正常样本的模式发掘新样本中的异常势在必行。

（3）研究机器智能与安检工作人员的最佳协同机制。机器完全代替人工存在较大安全风险时，如何设计机器智能结论因人而异的展示时机和方式，协助安检员在有限的判图时间内做出可靠决策，将是安检CT图像目标物识别技术成功运用的关键一环。