Dense Reconstruction Algorithm of Sparse Light-field Based on Optical Flow Method
-
摘要: 光场成像在三维重建、合成孔径去遮挡和全息成像等应用中具有重要作用。光场稠密重建算法能够弥补光场成像硬件的不足，实现稀疏光场的稠密重建。本文从二维光流基本原理出发，以光场双平面模型为基础，提出一种新的四维光场光流约束方程数学模型，利用该约束方程求解得到的光场光流确定新视角的位置坐标，并通过插值计算及图像反演逐点获得新坐标的强度值，最终获得高质量的新视角合成图像。实验结果表明，本文方法能够对长基线场景中的纹理、阴影及色彩等信息进行高质量重建，定量评价结果表明该算法能够完成复杂场景的光场稠密重建任务。本文算法仅适用于线性光场光流的约束以及一维视角光场的情形，后续相关研究将围绕非线性光流约束以及多维视角光场的情形展开。Abstract: Light field imaging plays a vital role in three-dimensional reconstruction, synthetic aperture de occlusion, and holographic imaging. The light field dense reconstruction algorithm can make up for the shortage of light field imaging hardware and realize the dense reconstruction of the sparse light field. Based on the basic principle of two-dimensional optical flow and the light field biplane model, a new mathematical model of a four-dimensional light field optical flow constraint equation is proposed in this paper. The position coordinates of the new viewing angle are determined by using the light field optical flow solved by the constraint equation, and the intensity values of the new coordinates are obtained point by point through interpolation calculation and image inversion, so as to finally obtain a high-quality new viewing angle synthetic images. The experimental results show that the proposed method can realize high-quality reconstruction of the texture, shadow, and color information in the extended baseline scene. The quantitative evaluation results show that the algorithm can accomplish the task of dense light field reconstruction in complex settings. This algorithm in this paper is only applicable to the case of linear optical flow constraint and one-dimensional viewing angle light field. The subsequent related research will focus on the case of nonlinear optical flow constraint and multi-dimensional viewing angle light field.
-
Keywords:
- light field /
- light field reconstruction /
- LK optical flow method
-
基底细胞癌（basal cell carcinoma，BCC）与睑板腺癌（sebaceous carcinoma of eyelid，SC）是中老年人最常见的眼睑恶性肿瘤，发病率分别位于第1和第2位，但是因两者恶性程度和侵袭性的不同，患者的治疗方法和预后有很大不同[1-2]。术前对BCC和SC进行定性评估，对手术方法的选择、提高治愈率和降低转移率尤为重要。
本文回顾性分析我院2015年1月至2020年9月经手术病理证实的14例SC及7例BCC的影像学资料，对两种疾病的一般资料与CT、MRI表现做比较和总结，以提高对眼睑部疾病的认识和诊断准确率。
1. 资料和方法
1.1 一般资料
本组SC患者14例，男性1例，女性13例，年龄54～86岁，平均年龄（73.07±10.87）岁。BCC患者7例，男性3例，女性4例，年龄57～84岁，平均年龄（70.71±9.46）岁。临床症状均为发现眼睑部肿物或有异物感，2例既往有眼眶手术史。所有病例最终诊断均由手术病理证实。
1.2 检查方法
14例SC患者术前6例行CT平扫检查，7例行MRI平扫检查，1例行CT与MRI检查。7例BCC患者1例行CT平扫检查，5例行MRI平扫检查，1例行CT与MRI检查。
CT检查采用GE Light speed 16排CT扫描机。扫描参数：120 kV，200 mA，常规扫描层厚3 mm，薄层重建层厚1 mm，螺距1.0；MRI检查采用Philips 3.0 T扫描仪及GE 1.5 T MRI扫描仪，使用眼眶专用线圈，扫描序列包括T1 WI、T2 WI、T2抑脂，DWI，扫描方位包括横断位、冠状位、矢状位，扫描层厚4 mm。
1.3 图像分析
所有患者CT和MRI图像由两位具有5年以上头颈部影像诊断工作经验的放射诊断医师共同阅片，如有意见分歧，两位医师共同协商达成一致意见。分析内容包括病变部位、形态、大小、密度及信号特征、病灶与邻近结构的关系、有无钙化、气体、囊变等。
2. 结果
2.1 睑板腺癌
14例SC患者影像学表现。①发病部位：右眼睑6例，其中4例位于上睑，1例位于下睑，1例病变侵犯眶内；左眼睑8例，3例位于上睑，5例位于下睑。②形态及大小：14例肿瘤长径范围1.1～3.8 cm，平均长径（1.84±0.81）cm；5例肿瘤呈环条状及斑块状附着于眼环前方，可见“弧形征”（图1），8例肿瘤表现为眼睑部软组织结节，其中1例呈“菜花状”向外凸起（图2）；1例肿瘤呈团块状向眼眶内生长；7例病灶边界不清晰，7例边界清晰。③病灶密度及信号特征：7例行CT检查的患者表现为等密度软组织影，病灶较大时密度不均匀，未见囊变坏死区；4例内部见气体密度影，均未见钙化影；8例行MRI检查的患者表现为T1 WI等或低信号，T2 WI呈稍高信号，脂肪抑制序列为高信号，DWI呈高或稍高信号。④病灶与邻近结构的关系：14例中13例局限于眶隔前区，11例表皮受累，2例仅位于皮下未侵及眼睑皮肤（图3），1例肿瘤范围较大，侵犯球内及球后，累及眼外肌、泪腺及视神经。
![]()
图 1 83岁男性，右眼睑板腺癌右眼睑环条状软组织影，边界不清晰，肿瘤累及眼睑皮肤，内见气体密度影，病灶后缘被眼环阻挡呈弧形，即“弧形征”。Figure 1. Male, 83 years old with sebaceous carcinoma in eyelid of the right eye![]()
图 2 81岁女性，左眼睑板腺癌左眼睑软组织结节凸起于眼睑皮肤表面，肿瘤边缘不光整，呈“菜花状”。Figure 2. Female, 81 years old with sebaceous carcinoma in eyelid of the left eye![]()
图 3 56岁女性，右眼睑睑板腺癌（a）T1 WI横断位 （b）T2 WI横断位 右眼睑皮下T1 WI等信号、T2 WI稍高信号结节，边界较清晰，未累及眼睑皮肤。Figure 3. Female, 56 years old with sebaceous carcinoma of eyelid in the right eye2.2 基底细胞癌
7例BCC患者影像学表现。①发病部位：右眼睑4例，左眼睑3例，均位于下睑。②形态及大小：1例呈环条状肿块，3例呈结节状，1例呈扁丘状，边界均较清晰；肿瘤长径范围0.6～4.4 cm，平均长径（1.60±1.58） cm；1例呈边界不清晰的团片状混杂信号影；1例仅见皮肤表面略不光整，未见明显肿块；仅1例见“弧形征”。③病灶密度及信号特征：2例行CT检查的患者表现为密度均匀的软组织影，1例病灶内见点状钙化（图4）；6例行MRI检查的患者表现为T1 WI等或低信号，T2 WI呈稍高或高信号，DWI呈稍高信号。④病灶与邻近结构的关系：7例肿瘤均局限于眶隔前区，2例仅局限在皮肤，未侵犯皮下脂肪组织（图5）。
![]()
图 4 72岁女性，右眼基底细胞癌右眼睑内眦软组织肿块，皮下脂肪间隙存在，病灶内见点状钙化影。Figure 4. Female, 72 years old with basal cell carcinoma in the right eye![]()
图 5 62岁男性，右眼基底细胞癌右眼下睑浅表皮肤扁丘状隆起，T1 WI低信号，T2 WI高信号，边界清楚，未侵犯皮下组织。Figure 5. Male, 62 years old with basal cell carcinoma in the right eye2.3 SC与BCC的鉴别诊断
SC与BCC的一般资料对比（表1）显示，女性患者比例SC（92.9％）高于BCC（57.1％）。
表 1 SC与BCC一般资料对比Table 1. The comparison of general information of SC and BCC肿瘤类型 例数 平均年龄/岁 性别 男 女 SC 14 73.07±10.87 1 13 BCC 7 70.71± 9.46 3 4 SC与BCC发病部位与病灶范围对比（表2）显示，SC上睑发病率高于下睑，BCC则均发生于下睑。SC病例中有1例侵犯眶内，其余病灶均局限于眶隔前区，BCC病例中病灶均局限于眶隔前区。
表 2 SC与BCC发病部位与病灶范围对比Table 2. The comparison of pathogenic sites and lesion range of SC and BCC肿瘤类型 例数 发病部位 病灶范围 上睑 下睑 仅限眶隔前区 向眶内侵犯 SC 14 7 6 13 1 BCC 7 0 7 7 0 SC与BCC影像学特征对比（表3）显示，SC病灶长径大于BCC，形态上28.6％ 的病灶呈环条状，高于BCC（14.3％），SC 14 例病例中有50％ 病灶边界不清晰，高于BCC（14.3％）。病灶出现弧形征、气体征比例SC（35.7％，57.1％）高于BCC（14.3％，0％）。
表 3 SC与BCC影像学特征对比Table 3. The comparison of imaging findings of SC and BCC肿瘤类型 例数 平均长径/cm 形态 边界 弧形征 气体征 环条状 结节状 清晰 不清晰 SC 14 1.84±0.81 4 8 7 7 5 4 BCC 7 1.60±1.58 1 3 6 1 1 0 3. 讨论
3.1 概述
BCC与SC是中老年眼睑常见的两类恶性肿瘤，发病率分别位于第1和第2位，但是因两者恶性程度不同，致使治疗方法和预后有很大不同[1-2]。BCC是最常见的皮肤恶性肿瘤，起源于表皮基底层，男性患者比例稍多于女性，大部分发生在下眼睑[3]，侵袭邻近结构及发生转移概率较低，患者一般预后较好，紫外线照射是其重要的危险因素[4-5]。SC发生于眼睑Meibomian腺或Zeis腺[6]，在我国眼睑恶性肿瘤中，位居第2位，约占31.7％[7]，女性较男性多见，易发生于上睑[8]，而在西方人种中较为罕见[9]。
SC恶性程度较高，可侵犯临近组织结构并发生淋巴结及血行转移，患者预后不良，死亡率可高达50％ 以上，临床上表现为眼睑弥漫性增厚，部分可触及眼睑肿块。目前该疾病主要依靠活检进行组织病理学诊断[10]。
3.2 SC影像学特征
病灶在CT表现为软组织密度影[9]，密度较均匀，囊变及钙化少见，形态多呈环条状、结节状软组织影像。本研究中14例SC中12例呈结节状、环条状，与文献相符[11]。MRI表现为T1 WI等或低信号，T2 WI呈稍高信号，DWI呈高或稍高信号，这可能与SC肿瘤细胞较密集造成扩散受限有关。SC特征性影像学改变为病灶后方被眼环阻挡呈“弧形征”，以及病灶内部因继发坏死感染形成的气体征[11-12]，本研究发生率分别为35.7％（5/14）和57.1％（4/7）。晚期肿瘤可侵犯眶内及球内，并可发生淋巴结转移和远处转移[13]。
3.3 BCC的影像学特征
肿瘤病理学最常见的类型有结节型和浅表型，影像学结节型表现为眼睑部皮肤及皮下软组织结节，浅表型表现为扁丘状及鳞片状软组织斑块[4-5]。本研究中两种病理类型BCC比例分别为42.9％（3/7）和28.6％（2/7）。BCC在MRI中病灶内常有T2 WI高信号区，这与BCC瘤体中含有充满粘液的囊腔有关，此信号特点与本研究病例的MRI特征相符。侵犯皮下组织较少见，本研究7例BCC患者中有2例局限在皮肤，未侵犯皮下，与文献报道[3]稍不符，需要更大样本量加以印证。BCC如果不及时治疗或术后复发也可侵犯至球内及球后，此外CT、MRI检查可评估BCC的淋巴结转移、远处脏器转移及骨骼受累情况[3]。
3.4 SC与BCC的相似点
SC与BCC作为眼睑常见的恶性肿瘤，好发于中老年，均发生于眶隔前区，影像学均表现为眼睑部软组织肿块。CT密度较均匀，病灶内少见囊变、液化坏死，MRI信号相似，均为T1 WI等或低信号，T2 WI呈稍高或高信号，DWI呈稍高信号。
3.5 SC与BCC鉴别诊断要点
结合本组对比研究结果及文献资料，总结SC与BCC鉴别诊断要点如下：
①发病性别和发病部位：SC好发于老年女性，肿瘤多位于上眼睑；BCC患者男女性患者比例相近，肿瘤多位于下眼睑。②病灶起源位置、形态及边界：SC起源于皮下睑板，向表皮层生长，形态多呈环条状和结节状，病灶边界清晰或不清晰；而BCC起源于皮肤，向皮下生长，形态多呈结节状或扁丘状，有时仅见皮肤破损改变，病灶边界较清晰。③影像学特殊征象：弧形征、气体征多见于SC，病灶内钙化可能更多见于BCC，需要更多行CT检查的BCC病例证实。
3.6 本研究的局限性
①本研究为回顾性研究，患者检查设备和扫描方案不完全一致，大部分患者未同时行CT、MRI检查，对分析病灶内部成分造成困难。②入组患者未行增强检查，无法获取肿瘤的血供、强化曲线等信息。③样本量较少，分析结果可能存在一定偏差，需要在今后的工作中进一步收集病例。
综上所述，SC与BCC是中老年眼睑最常见的两种恶性肿瘤，在流行病学、发病部位、影像学特征等方面均有一定的差异，对于老年女性发生于上眼睑的环条状病灶，CT及MRI发现弧形征、气体征的影像学特征，边界不清晰，应首先考虑为SC；如果病灶发生于下眼睑，呈结节状或扁丘状，边界较清晰，病变仅局限于皮肤未侵及皮下，则首先考虑为BCC。掌握以上鉴别要点，可提高眼睑恶性肿瘤术前诊断的准确性，降低误诊率。
-
![]()
图 1 二维成像到四维成像扩展
Figure 1. Extension of two-dimensional imaging to four-dimensional imaging
![]()
图 8 包含高低频信息场景的稠密光场重建
Figure 8. Dense light field reconstruction of scenes containing high and low frequency information
表 1 不同场景稠密光场重建PSNR值对比结果
Table 1 Comparison of PSNR values of dense light field reconstruction in different scenes
场景 Table Bicycle Town Boardgames Rosemary Vinyl 文献22算法 34.865 30.773 34.015 30.813 35.367 34.614 本文算法1*9 39.326 34.817 38.979 44.117 41.105 46.855 本文算法1*7 40.074 35.030 39.780 44.228 42.412 47.389 
下载: 导出CSV
表 2 不同场景稠密光场重建SSIM值对比结果
Table 2 Comparison of SSIM values of dense light field reconstruction in different scenes
场景 Table Bicycle Town Boardgames Rosemary Vinyl 文献22算法 0.932 0.886 0.947 0.934 0.970 0.942 本文算法1*9 0.960 0.958 0.982 0.993 0.987 0.994 本文算法1*7 0.963 0.959 0.984 0.994 0.988 0.995
下载: 导出CSV
-
[1] IHRKE I, RESTREPO J, MIGNARD-DEBISE L. Principles of light field imaging: Briefly revisiting 25 years of research[J]. IEEE Signal Processing Magazine, 2016, 33(5): 59−69. doi: 10.1109/MSP.2016.2582220
[2] REN N, LEVOY M, BREDIF M, et al. Light field photography with a hand-held plenoptic camera[J]. Stanford University Cstr, 2005, 2(1): 1−11.
[3] WILBURN B, JOSHI N, VAISH V, et al. High performance imaging using large camera arrays[J]. ACM Transactions on Graphics, 2005, 24(3): 765−776. doi: 10.1145/1073204.1073259
[4] STA B, LU Z, WZA B, et al. Quality assessment of DIBR-synthesized views: An overview[J]. Neurocomputing, 2021, 423: 158−178. doi: 10.1016/j.neucom.2020.09.062
[5] ZHOU W, LIU G, SHI J, et al. Depth-guided view synthesis for light field reconstruction from a single image[J], Image and Vision Computing, 2020, 95(c): 103874.
[6] JING X, MA Y, ZHAO Q, et al. Light field reconstruction using dynamically generated filters[J]. Springer, Cham, 2020: 3−13.
[7] 焦鹏飞, 李亮, 赵骥. 压缩感知在医学图像重建中的最新进展[J]. CT理论与应用研究, 2012,21(1): 133−147. JIAO P F, LI L, ZHAO J. New advances of compressed sensing in medical image reconstruction[J]. CT Theory and Applications, 2012, 21(1): 133−147. (in Chinese).
[8] CAO X, GENG Z, et al. Dictionary-based light field acquisition using sparse camera array[J]. Optics Express, 2014, 22(20): 24081−24095. doi: 10.1364/OE.22.024081
[9] 王飞, 王昊, 卞耀明, 等. 深度学习在计算成像中的应用[J]. 光学学报, 2020,40(1): 0111002. doi: 10.3788/AOS202040.0111002 WANG F, WANG H, BIAN Y M, et al. Applications of deep learning in computational imaging[J]. Acta Optica Sinica, 2020, 40(1): 0111002. (in Chinese). doi: 10.3788/AOS202040.0111002
[10] FLYNN J, NEULANDER I, PHILBIN J, et al. Deep stereo: Learning to predict new views from the world's imagery[C]//IEEE Computer Society, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Washington D C, USA: 2016: 5515-5524.
[11] 李坤, 毛亚丽, 马健, 等. 稀疏光场的密集重建方法[J]. 中国科技论文, 2018,13(20): 2317−2322. doi: 10.3969/j.issn.2095-2783.2018.20.006 LI K, MAO Y L, MA J, et al. Dense reconstruction for sparsely-sampled light field[J]. China Sciencepapter, 2018, 13(20): 2317−2322. (in Chinese). doi: 10.3969/j.issn.2095-2783.2018.20.006
[12] 王伟健. 基于DIBR的虚拟视点合成算法研究[D]. 武汉: 华中科技大学, 2016. [13] GIBSON J J. The perception of the visual world[M]. Oxford, England: Houghton Mifflin, 1950.
[14] 都雪静, 张美欧. 基于光流法与背景建模法融合的车道线识别算法研究[J]. 重庆理工大学学报(自然科学), 2021,35(3): 29−35, 99. DU X J, ZHANG M O. Based on fusing optical flow method and background, odeling for lane line recognition[J]. Journal of Chongqing University of Technology (Natural Science), 2021, 35(3): 29−35, 99. (in Chinese).
[15] HARTMANN C, WANG J, OPRISTESCU D, et al. Implementation and evaluation of optical flow methods for two-dimensional deformation measurement in comparison to digital image correlation[J]. Optics & Lasers in Engineering, 2018, 107(aug.): 127−141.
[16] 於小杰, 贺勇, 刘盛华. 一种用于无人机室内定位的改进ORB光流算法[J]. 计算机工程与应用, 2021, 57(4): 266-271. SHI X J, HE Y, LIU S H. An improved orb optical flow algorithm for UAV indoor positioning[J]. Computer Engineering and Applications, 2021, 57(4): 266-271. (in Chinese).
[17] GANG Z, TANG S, LI J. Face landmark point tracking using LK pyramid optical flow[C]//Tenth International Conference on Machine Vision (ICMV 2017). 2018.
[18] 赵于平, 金熙, 赵松年. 光场成像中的景深扩展方法与信息处理[J]. 现代电子技术, 2016,39(4): 102−107. ZHAO Y P, JING X, ZHAO S N. Scene depth extension method and information processing in light field imaging[J]. Modern Electronics Technique, 2016, 39(4): 102−107. (in Chinese).
[19] 李亚楠, 赵耀, 林春雨, 等. 基于图像分割的金字塔Lucas-Kanade光流法提取深度信息[J]. 铁道学报, 2015,37(1): 63−68. doi: 10.3969/j.issn.1001-8360.2015.01.010 LI Y N, ZHAO Y, LIN C Y, et al. Depth information extraction with pyramid lucas-kanade optical flow method based on image segmentation[J]. Journal of the China Railway Society, 2015, 37(1): 63−68. (in Chinese). doi: 10.3969/j.issn.1001-8360.2015.01.010
[20] HONAUER K, JOHANNSEN O, KONDERMANN D, et al. A dataset and evaluation methodology for depth estimation on 4d light fields[M]. Asian Conference on Computer Vision, 2016: 19-34.
[21] 佟雨兵, 张其善, 祁云平. 基于PSNR与SSIM联合的图像质量评价模型[J]. 中国图象图形学报, 2006,11(12): 1758−1763. doi: 10.11834/jig.2006012307 TONG Y B, ZHANG Q S, QI Y P. Image quality assessing by combining PSNR with SSIM[J]. Journal of Image and Graphics, 2006, 11(12): 1758−1763. (in Chinese). doi: 10.11834/jig.2006012307
[22] 夏正德, 宋娜, 刘宾, 等. 基于字典学习的稠密光场重建算法[J]. 物理学报, 2020,69(6): 064201. doi: 10.7498/aps.69.20191621 XIA Z D, SONG N, LIU B, et al. Dense light field reconstruction algorithm based on dictionary learning[J]. Acta Physica Sinica, 2020, 69(6): 064201. (in Chinese). doi: 10.7498/aps.69.20191621
计量
- 文章访问数: 585
- HTML全文浏览量: 287
- PDF下载量: 53
