Shale-pore Semantic Segmentation Network Based on Pseudo-labeling
-
摘要:
页岩孔隙是页岩气储集层的关键参数，其形状、大小、连通性和发育程度直接影响了储集性能。分析高分辨率岩石样本扫描电镜图像是获得孔隙结构的重要途径，但自动化识别仍然具有较大的难度。本研究提出一种基于伪标签方法的页岩孔隙语义分割网络，试图实现页岩孔隙的智能识别和分类。我们采用金字塔场景解析网络（PSPNet），对251张重庆龙马溪组页岩储层的扫描电镜图像进行训练。由于采用了伪标签生成策略，只对少量图像进行标注，并借助模型在未标注图像上的分割结果对模型进行迭代训练，可以降低图像标注的成本；此外，还通过集成学习来提高模型的准确性和泛化能力。经过迭代训练后的模型，平均交并比（MIoU）可以高于0.70；经对比实验，采用伪标签和集成学习可以使模型的MIoU提升约0.07。结果表明，伪标签方法在提升神经网络泛化能力的同时，改善过往的深度学习分割方法人工标注时间成本过高的缺陷，而集成学习可以稳定地提升模型的准确率。
Abstract:Shale pore structures contribute significantly to shale gas reservoirs, with their shape, size, connectivity, and development directly affecting storage. To achieve intelligent recognition and classification of shale pores, this study proposes a shale-pore semantic segmentation network based on a pseudo-label method. A total of 251 scanning electron microscopy images of the Longmaxi Formation shale reservoir in Chongqing are used, and the Pyramid Scene Parsing Network is utilized for training. Additionally, pseudo-label generation is employed, which involves annotating only a few images and using the model’s segmentation results on unlabeled images for iterative training. Subsequently, ensemble learning is conducted to improve the model’s accuracy and generalizability. The iteratively trained model has a mean intersection-over-union (MIoU) score exceeding 0.70. Comparative experiments show that employing pseudo-labeling and ensemble learning increases the model’s MIoU by approximately 0.07. Furthermore, pseudo-labeling enhances the generalizability of neural networks while addressing the high time cost of manual annotation required in previous deep-learning segmentation methods, whereas ensemble learning stably increases the model’s accuracy.
-
Keywords:
- deep learning /
- shale pores /
- semantic segmentation /
- pseudo-label /
- ensemble learning
-
皮肌炎（dermatomyositis，DM）和多发性肌炎（polymyositis，PM）是一组以侵犯横纹肌为主的系统性自身免疫性疾病，其特征性表现为对称性四肢近端肌无力。该病的具体病因及发病机制尚未明确，除肌肉和皮肤受累外，还可累及心、肺、关节等全身多脏器与系统，其中肺部受累主要表现为间质性肺疾病（interstitial lung disease，ILD），是DM/PM常见且严重的并发症[1-2]。
文献报道DM/PM相关间质性肺病（DM/PM-ILD）的发病率高达19.9％～78％，且部分患者可以肺部表现为首发症状，DM/PM-ILD对疾病的预后有着重要的影响，同时也是导致患者死亡的重要原因之一[1-4]。ILD是一组导致肺实质炎症或纤维化的疾病[5]，高分辨率CT（high-resolution computed tomography，HRCT）具有良好的空间分辨率，能够清晰显示弥漫性肺间质异常的形态学特征，在ILD的诊断中具有十分重要的价值。
本研究旨在探讨DM/PM-ILD的HRCT特征，以期提高对该病的早期识别和及时诊治。
1. 资料与方法
1.1 一般资料
回顾性纳入2014年1月至2019年12月在西安交通大学第一附属医院确诊，且临床与HRCT资料完整的DM/PM-ILD患者。
纳入标准：①年龄＞18岁；②DM/PM诊断依据Bohan等[6]1975年提出的分类标准诊断；③间质性肺病及相关影像分型的诊断参考 2013美国胸科学会/欧洲呼吸协会制定的特发性间质性肺炎分类标准[7]。排除标准：①重叠性肌炎；②合并肿瘤；③合并有其他可能引起肺间质性病变的疾病；④具有环境和职业暴露史；⑤合并心、肾疾病。
本研究经西安交通大学第一附属医院医学伦理委员会批准（批件号：KYLLSL201312202），并免去患者签署知情同意书。
1.2 CT检查方法
CT扫描采用64层及以上CT扫描仪，患者均取仰卧位，于最大吸气末屏气扫描，扫描范围包括肺尖至肺底。扫描参数：管电压120 kV，自动管电流，矩阵512 mm×512 mm（54例）或1 024 mm×1 024 mm（87例），采用骨算法重建图像，重建层厚1 mm、层间距1 mm。
所有图像传输至影像工作站，分别在肺窗（窗宽/窗位=1 500 HU/-600 HU）及纵隔窗（窗宽/窗位=400 HU/50 HU）观察。
1.3 CT图像评估
采集所有患者确诊DM/PM-ILD后首次胸部CT检查，CT图像评估由两名分别具有高年资工作经验的胸部影像医生独立完成，结论有分歧时，经双方讨论达成一致意见。图像评价内容包括：
（1）记录以下基本征象是否存在：磨玻璃影（ground-glass opacity，GGO），实变，小叶间隔增厚，小叶内间质增厚，胸膜下线，牵拉性支气管扩张，蜂窝影；记录伴随征象如胸腔积液、心包积液、纵隔气肿等；征象评估参照Fleischer协会胸部术语[8]。
（2）记录病灶分布位置：在轴向上病灶主体位于肺野内2/3称为中央分布，在肺野外带1/3称为周边分布，其他为弥漫或随机分布；在纵向上：分布定义为上肺野（病灶主体位于气管隆突以上）、下肺野（病灶主体位于气管隆突以下）及弥漫或随机分布。
（3）记录HRCT上间质性肺炎的影像分型，包括：非特异性间质性肺炎（non-specific interstitial pneumonia，NSIP），机化性肺炎（organized pneumonia，OP），NSIP叠加OP（NSIP with OP overlap，NSIP+OP），弥漫性肺泡损伤（diffuse alveolar damage，DAD）以及普通型间质性肺炎（usual interstitial pneumonia，UIP）或可能普通型间质性肺炎。
2. 结果
2.1 一般情况
本研究共纳入DM/PM-ILD患者141例，平均年龄（52.2±11.5）岁。其中男性32例（22.7％），平均年龄（54.3±11.2）岁；女性109例（77.3％），平均年龄（51.6±11.6）岁。
141例患者中，DM患者114例（80.9％），PM患者27例（19.1％）。
2.2 胸部HRCT表现
2.2.1 影像征象
141例DM/PM-ILD患者影像表现见表1，磨玻璃影123例（87.2％）、小叶间隔增厚110例（78.0％）、小叶内间质增厚90例（63.8％）、实变41例（29.1％）、胸膜下线37例（26.2％）、牵拉性支气管扩张28例（19.9％）、蜂窝征5例（3.5％）。
表 1 DM/PM-ILD患者HRCT基本特征Table 1. The basic HRCT features of DM/PM-ILD patients项目 HRCT特征 例数 占比/％ 总例数 141 100.0 基本特征 GGO 123 87.2 实变 41 29.1 小叶间隔增厚 110 78.0 小叶内间质增厚 90 63.8 胸膜下线 37 26.2 牵拉性支气管扩张 28 19.9 蜂窝影 5 3.5 伴随征象 纵隔气肿 3 2.1 胸腔积液 15 10.6 心包积液 18 12.8 病灶轴向分布 中央分布 0 0.0 周围分布 108 76.6 弥漫或随机分布 33 23.4 病灶纵向分布 上肺 0 0.0 下肺 52 36.9 弥漫或随机分布 89 63.1 所有患者均表现为两肺同时受累，病灶在纵向上主要分布在两肺下野（52例，36.9％）或呈弥漫分布（89例，63.1％），两肺上野鲜有受累；在轴向分布上，病灶呈明显的周边分布趋势（108例，76.6％），其次呈弥漫分布（33例，23.4％）。
2.2.2 影像分型
141例DM/PM-ILD患者影像分型见表2。表现为NSIP型者最多见，共53例（37.6％），其次为OP型，共39例（27.7％），NSIP叠加OP型共32例（22.7％），UIP/可能UIP共9例（6.4％），DAD 8例（5.7％），最为少见。典型病例见图1所示。
表 2 DM/PM-ILD患者HRCT影像分型Table 2. The radiological pattern of DM/PM-ILD patients on HRCT影像分型 例数 占比/％ 总例数 141 100.0 NSIP 53 37.6 OP 39 27.7 NSIP+OP 32 22.7 DAD 8 5.7 UIP/可能UIP 5/4 3.5/2.8 ![]()
图 1 皮肌炎/多发性肌炎相关间质性肺病（DM/PM-ILD）患者代表性胸部HRCT表现Figure 1. Representative HRCT images of DM/PM-ILD patients3. 结论
本研究发现DM/PM-ILD在HRCT上的表现主要以GGO，小叶间隔增厚，小叶内间质增厚为主，实变、胸膜下线、牵拉性支气管扩张次之，蜂窝较为少见。病变在分布上主要以两肺下野、肺野外周带分布为主，主要的影像分型表现为NSIP、OP以及NSIP叠加OP型。
在以间质受累为主的疾病中，磨玻璃影是间质纤维化形成肺泡炎的过程，其病理基础为间质性肺泡壁炎，即肺泡间隔有不同程度的炎细胞浸润，肺泡腔内有蛋白性物质和细胞增生，肺泡间隔内有网状蛋白增生，但基本没有胶原组织形成间质纤维化，肺泡组织结构保持完整[8-9]。本组病例中，两肺下叶周边分布的GGO是DM/PM-ILD患者最常见表现，141例患者中有123例（87.2％）患者出现磨玻璃影，与Egashira等[10]报道的一致。在没有牵拉性支扩的情况下，磨玻璃影是肺泡纤维化的可靠征象，而磨玻璃影不仅仅是纤维化在影像上的早期的表现，这一征象也往往提示疾病的活动期，此时积极的治疗可能有效[11-12]。
小叶间隔为肺脏表面的间质伸入肺内将肺组织分隔成次级肺小叶的纤维结缔组织，内含肺静脉和肺淋巴管。小叶内间质主要是指肺泡间隔内的细纤维网；小叶内间质增厚与小叶间隔增厚的病理改变主要是由于液体、纤维组织、细胞或其他物质在肺间质内浸润所致，HRCT上多表现为网影及细网影。小叶间隔增厚与小叶内间质增厚常见于ILD的早期改变中，本研究中小叶间隔增厚与小叶内间质增厚为DM/PM-ILD的第二大常见征象，分别为78.0％ 和63.8％。当小叶内间质增厚合并牵拉性支扩或蜂窝时，肺间质纤维化程度一般会进行性加重，小叶内间质增厚合并不规则小叶间隔增厚时，小叶内间质增厚可以部分吸收或残留[9]。
肺纤维化是间质性肺病的重要结局事件，CT上可出现肺结构扭曲，如肺体积减小、牵拉性支气管扩张和蜂窝征[13-14]，牵拉性支气管扩张通常是由于肺纤维化牵拉支气管导致支气管不规则扩张。本组病例共有28例患者出现牵拉性支扩征象，其中有5例患者合并出现蜂窝征象，提示DM/PM-ILD出现纤维化几率较低，且主要表现为牵拉性支气管扩张，这与Palmucci等[2]和Hayashi等[15]的研究结果一致。Hayashi等[15]根据HRCT结果将DM-ILD患者分为3组：A组，实变为主型；B组，磨玻璃影/网格影为主型，不伴有慢性纤维化；C组，磨玻璃影/网格影为主伴有慢性肺纤维化组。3组发生致死性疾病的概率分别为0％、83％和20％。由此可见，当DM-ILD患者肺部出现以磨玻璃影或网格影为主要表现但不伴有慢性纤维化时应当积极治疗。
有关纵隔气肿发生的机制尚不明确，Singh等[16]认为可能是肺泡过度充气致肺泡破裂，气体溢出至周围的支气管血管间隙，后经肺间质播散到纵隔，空气可从纵隔进入颈部、面部、腹部和四肢，导致皮下气肿。既往文献报道纵隔气肿是DM/PM-ILD罕见但严重的并发症，与不良预后高度相关[17-18]，本研究共3例患者合并纵隔气肿，均发生在DM-ILD患者中，发生率为2.1％，与既往文献报道一致，HRCT上表现为纵隔内多发散在气体影，其与DM/PM-ILD患者的预后相关性有待进一步大数据的验证。
ILD组织学分型[7,19]包括普通型间质性肺炎（UIP）、非特异进性间质性肺炎（NSIP）、机化性肺炎（OP）、弥漫性肺泡损伤（DAD）、呼吸性细支气管炎（RB）、脱屑间质性肺炎（DIP）和淋巴细胞间质性肺炎（LIP）。由于临床实践中仅少数患者可经病理活检证实，因此基于HRCT征象的影像分型广泛应用于ILD疾病诊疗随访中。既往文献中报道DM/PM-ILD最常见影像模式依次为NSIP、OP，UIP相对较少，少部分患者还可以表现为DAD[19-21]。本研究发现109（77.3％）例患者影像学表现为单一模式，以NSIP（37.6％）与OP（27.7％）最常见，UIP相对少见（9例）。32例（22.7％）患者可见多模式并存，表现为NSIP叠加OP。NSIP叠加OP模式通常预示肺部病变炎症居多、纤维化较少，一般而言对治疗反应良好。此外，少部分患者可表现为DAD，通常预示着呼吸窘迫综合征（ARDS）可能及患者预后不良。
本研究具有一定的局限性。①本研究为回顾性、单中心研究，样本量有限，难以避免选择偏倚；②本研究探讨了DM/PM-ILD的基本影像特征及其影像表现模式，未能进一步探讨在疾病发展过程中，影像征象及其模式的动态演变；③DM/PM是一组异质性非常强的自身免疫性疾病，患者可表达不同的自身抗体，不同抗体的DM/PM患者在ILD的影像表现上是否有所不同，有待进一步的探究。
总而言之，DM/PM-ILD的HRCT表现具有一定的特征性，影像征象以磨玻璃影、小叶间隔增厚及小叶内间质增厚为主，病灶主要分布两肺下野及肺野外周带，NSIP、OP、NSIP+OP是最常见的3种影像分型。在实际临床实践中当遇到征象、分布不符合或者不典型的患者，需要综合临床、实验室各项指标考虑是否合并感染；而当影像模式为DAD的患者，则需及早提示临床警惕ARDS的发生，酌情采取更加激进的治疗方法以挽救患者生命。
-
![]()
图 6 各类模型和训练策略的MIoU折线图
Figure 6. Line graph of MIoU for different models and training strategies
表 1 各模型和训练策略的MIoU（
$ \pm $ 标准差）Table 1 MIoU of different models and training strategies (
$ \pm $ standard variation)模型 监督学习 5% 半监督学习 监督学习+10次集成 5% 半监督学习+
10次集成FCN8+VGG16 0.620$ \pm $0.012 0.660$ \pm $0.012 0.649$ \pm $0.008 0.690$ \pm $0.010 FCN8+ResNet34 0.641$ \pm $0.011 0.672$ \pm $0.015 0.696$ \pm $0.012 0.715$ \pm $0.008 PSPNet+VGG16 0.646$ \pm $0.009 0.652$ \pm $0.013 0.683$ \pm $0.010 0.701$ \pm $0.010 PSPNet+ResNet34 0.654$ \pm $0.013 0.660$ \pm $0.013 0.694$ \pm $0.012 0.728$ \pm $0.012 
下载: 导出CSV
表 2 算法性能比较的假设检验
Table 2 Hypothesis testing for algorithm performance comparison
算法 $ \alpha = 0.002\,5 $ $ \alpha = 0.005 $ $ \alpha = 0.01 $ 半监督学习+集成 > 监督学习+集成 T T T 监督学习+集成 > 半监督学习 T T T 半监督学习 > 监督学习 T T T ResNet34 > VGG16 F T T PSPNet > FCN-8 F F T
下载: 导出CSV
-
[1] ROSS D J K, BUSTIN R M. The importance of shale composition and pore structure upon gas storage potential of shale gas reservoirs[J]. Marine and Petroleum Geology, 2009, 26: 916-927. DOI: 10.1016/j.marpetgeo.2008.06.004.
[2] WANG Q, CHEN X, JHA A, et al. Natural gas from shale formation-the evolution, evidences and challenges of shale gas revolution in United States[J]. Renewable and Sustainable Energy Reviews, 2014, 30: 1-28. DOI: 10.1016/j.rser.2013.08.065.
[3] 黄磊, 申维. 页岩气储层孔隙发育特征及主控因素分析: 以上扬子地区龙马溪组为例[J]. 地学前缘, 2015, 22(1): 374-385. HUANG L, SHEN W. Characteristics and controlling factors of the formation of pores of a shale gas reservoir: A case study from Longmaxi Formation of the Upper Yangtze region[J]. Earth Science Frontiers, 2015, 22(1): 374-385. (in Chinese).
[4] 唐巍, 王彦飞. 正则化Kaczmarz算法在页岩纳米CT重构中的应用[J]. 地球物理学报, 2018, 61(11): 4598-4612. DOI: 10.6038/cjg2018L0679. TANG W, WANG Y F. Application of regularizing Kaczmarz algorithm in shale Nano-CT reconstruction[J]. Chinese Journal of Geophysics, 2018, 61(11): 4598-4612. DOI: 10.6038/cjg2018L0679. (in Chinese).
[5] MA Q H, XU Z L, WANG Y F, et al. Shale microstructure prediction with nonsmooth sparse regularizing X-ray CT imaging[J]. Numerical Functional Analysis and Optimization, 2020, 41(14): 1717-1727. DOI: 10.1080/01630563.2020.1813168.
[6] 王羽, 金婵, 汪丽华, 等. 基于SEM图像灰度水平的页岩孔隙分割方法研究[J]. 岩矿测试, 2016, 35: 595-602. WANG Y, JIANG C, WANG L H, et al. Pore segmentation methods based on gray scale of scanning electron microscopy images[J]. Rock and Mineral Analysis, 2016, 35: 595-602. (in Chinese).
[7] WANG Y, JIANG H Q, KE Y B, et al. Investigation of pore structures of a shallow Longmaxi shale in south China using large area electron imaging and neutron scattering technique[J], Energy & Fuels, 2020, 34(7): 7974-7984.
[8] GROVER S, SAXENA V S, VATWANI T. Design of intelligent traffic control system using image segmen-tation[J]. International of Advances in Engineering & Technology, 2014, 7(5): 1462-1469.
[9] WU Y, MISRA S, SONDERGELD C, et al. Machine learning for locating organic matter and pores in scanning electron microscopy images of organic-rich shales[J]. Fuel, 2019, 253: 662-676. DOI: 10.1016/j.fuel.2019.05.017.
[10] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015, 3431-3440.
[11] 王彦飞, 邹安祺. 基于神经网络的页岩微纳米孔隙微结构分析的正则化和最优化方法[J]. 岩石学报, 2018, 34: 281-288. WANG Y F, ZOU A Q. Regularization and optimization methods for micro pore structure analysis of shale based on neural networks[J]. Acta Petrologica Sinica, 2018, 34: 281-288. (in Chinese).
[12] BIHANI A, DAIGLE H, SANTOS J E, et al. MudrockNet: Semantic segmentation of mudrock SEM images through deep learning[J]. Computers & Geosciences, 2022. DOI: 10.1016/J.CAGEO.2021.104952.
[13] DYSON J, MANCINI A, FRONTONI E, et al. Deep learning for soil and crop segmentation from remotely sensed data[J]. Remote Sensing, 2019, 11(16): 1859. DOI: 10.3390/rs11161859.
[14] 徐述腾, 周永章. 基于深度学习的镜下矿石矿物的智能识别实验研究[J]. 岩石学报, 2018, 34: 3244-3252. XU S T, ZHOU Y Z. Artificial intelligence identification of ore minerals under microscope based on deep learning algorithm[J]. Acta Petrologica Sinica, 2018, 34: 3244-3252. (in Chinese).
[15] ARAZO E, ORTEGO D, ALBERT P, et al. Pseudo-labeling and confirmation bias in deep semi-supervised learning[C]//2020 International Joint Conference on Neural Networks (IJCNN), 2020, 20006215.
[16] HE R, YANG J, QI X. Re-distributing biased pseudo labels for semi-supervised semantic segmentation: A baseline investigation[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). 2021, 6930-6940.
[17] LEE D H. Pseudo-Label: The simple and efficient semi-supervised learning method for deep neural networks[C]//CML 2013 Workshop: Challenges in RepresentationLearning (WREPL). Atlanta, Georgia, USA, 2013.
[18] LI S, WEI Z, ZHANG J, et al. Pseudo-label selection for deep semi-supervised learning[C]//2020 IEEE International Conference on Progress in Informatics and Computing (PIC). 2020: 1-5.
[19] WANG Y, WANG H, SHEN Y, et al. Semi-supervised semantic segmentation using unreliable pseudo-labels[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022, DOI: 10.48550/arXiv.2203.03884.
[20] 马永生, 冯建辉, 牟泽辉, 等. 中国石化非常规油气资源潜力及勘探进展[J]. 中国工程科学, 2012, 14(6): 22-30. DOI: 10.3969/j.issn.1009-1742.2012.06.004. MA Y S, FENG J H, MOU Z H, et al. The potential and exploring progress of unconventional hydrocarbon resources in SINOPEC[J]. Strategic Study of CAE, 2012, 14(6): 22-30. DOI: 10.3969/j.issn.1009-1742.2012.06.004. (in Chinese).
[21] 金之钧, 胡宗全, 高波, 等. 川东南地区五峰组-龙马溪组页岩气富集与高产控制因素[J]. 地学前缘, 2016, 23(1): 1-10. JIN Z J, HU Z Q, GAO B, et al. Controlling factors on the enrichment and high productivity of shale gas in the Wufeng-Longmaxi Formations, southeastern Sichuan Basin[J]. Earth Science Frontiers, 2016, 23(1): 1-10. (in Chinese).
[22] 徐中华, 郑马嘉, 刘忠华, 等. 四川盆地南部地区龙马溪组深层页岩岩石物理特征[J]. 石油勘探与开发, 2020, 47(6): 1100-1110. DOI: 10.11698/PED.2020.06.04. XU Z H, ZHENG M J, LIU Z H, et al. Petrophysical properties of deep Longmaxi Formation shales in the southern Sichuan Basin, SW China[J]. Petroleum Exploration and Development, 2020, 47(6): 1100-1110. DOI: 10.11698/PED.2020.06.04. (in Chinese).
[23] ZHAO H, SHI J, QI X, et al. Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017, DOI: arXiv:1612.01105.
[24] FORT S, HU H, LAKSHMINARAYANAN B. Deep ensembles: A loss landscape perspective[C]//International Conference on Learning Representations (ICLR). 2020. DOI: arXiv:1912.02757.
计量
- 文章访问数: 158
- HTML全文浏览量: 66
- PDF下载量: 36
