诗婷 房
南方医科大学 生物医学工程学院（广州 510515）,
School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, P.R.China
广东省医学图像重点实验室（广州 510515）,
Guangdong Provincial Key Laboratory of Medical Image Processing, Southern Medical University, Guangzhou 510515, P.R.China
涛 钟
南方医科大学 生物医学工程学院（广州 510515）,
School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, P.R.China
广东省医学图像重点实验室（广州 510515）,
Guangdong Provincial Key Laboratory of Medical Image Processing, Southern Medical University, Guangzhou 510515, P.R.China
瑾 陈
南方医科大学 生物医学工程学院（广州 510515）,
School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, P.R.China
广东省医学图像重点实验室（广州 510515）,
Guangdong Provincial Key Laboratory of Medical Image Processing, Southern Medical University, Guangzhou 510515, P.R.China
煜 张
南方医科大学 生物医学工程学院（广州 510515）,
School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, P.R.China
广东省医学图像重点实验室（广州 510515）,
Guangdong Provincial Key Laboratory of Medical Image Processing, Southern Medical University, Guangzhou 510515, P.R.China
南方医科大学 生物医学工程学院（广州 510515）,
School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, P.R.China
广东省医学图像重点实验室（广州 510515）,
Guangdong Provincial Key Laboratory of Medical Image Processing, Southern Medical University, Guangzhou 510515, P.R.China
张煜，Email：
nc.ude.ums@gnahzuy
针对这一问题，本文采用了超分辨率技术来提高层间分辨率。常用的超分辨率方法主要有基于重构以及基于学习的两种方法
[
3
]
。基于重构的方法结合了图像的信息，能较好地恢复待处理图像的细节信息，但是往往算法要通过配准来进行运动估计，且需要不断迭代以获得最优解，如迭代反投影算法
[
4
]
。基于学习的方法通过学习训练集中高低分辨率之间的关系来恢复测试集中图像的分辨率，但合适的高分辨率训练集以及训练时长是这一方法必须考虑的问题，如 Yang 等
[
5
]
提出的稀疏表达的方法。
目前利用超分辨率技术获取肺部 4D-CT 高层间分辨率图像的方法主要是结合多个相位低分辨率图像来重建高分辨率图像。其中，基于配准的凸集投影（projections onto convex sets，POCS）算法为 2014 年 Zhang 等
[
6
]
提出的基于重构的超分辨率方法。这种方法能结合多个相位信息，有效恢复图像细节，但是对于呼吸运动较大的图像，配准精度对算法效果有明显的制约。基于多相位图像相似性的方法不需要配准，能较好地避免 POCS 方法的缺点，但由于算法是以非局部均值滤波方法为基础的，不可避免地会产生图像细节的过平滑
[
7
]
。
He 等
[
8
]
在上采样和去模糊两个过程中利用图像的自相关性构造高斯过程回归（Gaussian process regression，GPR）模型，验证了 GPR 模型解决超分辨率问题的可行性。He 等
[
8
]
构建的 GPR 模型，以下简称为 GPR11。GPR11 在第一个阶段对低分辨率图像进行插值，分块提取低分辨率图像的八邻域与中心像素，并构造 GPR 模型，然后对插值图像相应图像块的像素进行修正；在第二个阶段分块提取加模糊的低分辨率图像的八邻域与未加模糊低分辨率图像的中心像素，构造 GPR 模型，然后修正阶段一所得图像相应块的像素。但是，由于该研究的重建过程利用自身的低分辨率数据，并且进行分块实验，得到的重建效果在视觉上不够理想，同时耗时较长。
由于 GPR11 存在着以上不足，本课题组提出了一种基于多模型 GPR 的学习方法。根据肺部结构信息的相似性，我们可以利用高分辨率横截面的信息来学习冠、矢状面的信息。本文主要分为两个步骤。在第一步骤中，我们通过学习肺部 4D-CT 横截面高分辨率图像以及低分辨率插值图像相对应的中心像素与八邻域的关系，得到多个 GPR 模型。第二步便是利用所得的模型恢复出冠、矢状面的高分辨率图像。我们从视觉与量化两个方面对本文方法进行了评价，实验结果均表明我们的方法能有效减少伪影，提高肺部 4D-CT 图像的质量。
1. 方法
1.1. 多模型 GPR
GPR11 由于重建过程数据有限，并且采取的是分块实验模式，得到的重建效果在视觉上不够理想，同时耗时较长。为了提高重建的时间，得到较好的图像质量，我们引入基于学习的方法，利用肺部 4D-CT 横截面的信息提取特征对
D
，把
D
分组并通过学习可以得到多个 GPR 模型。再通过测试集中的低分辨率冠、矢状面初始图像与得到的多模型 GPR，可以重建高分辨率冠、矢状面图像。具体流程如
所示。其中，蓝框表示特征对
D
，绿框表示多模型 GPR。
高斯过程（Gaussian process，GP）是一种能自适应地处理高维数据、小样本、非线性等问题的机器学习方法，由均值函数
m
（
x
）和协方差函数
k
（
x
，
x
′）确定
[
9
-
10
]
。因此，GP 的表达式可写成
我们由已知的数据集可得到横截面高分辨率图像集
H
i
，对高分辨率图像进行降质处理可以得到低分辨率插值图像集
L
i
，构成训练集对
M
= {
H
i
，
L
i
}。如
所示，我们从低分辨率插值图像集中随机抽取
N
组八邻域
X
，并从对应的高分辨率图像集中抽取相应邻域的中心像素点
y
，构成特征对
D
= {
X
，
y
}，对应回归问题式（2）中的
x
与
y
。把
D
中的特征对随机分成
n
等份，得到子训练集
D
t
= {
X
t
，
y
t
}，
t
= 1，2，
，
n
，再利用子训练集
D
t
分别构造多个 GPR 模型。在测试阶段首先对测试图像进行插值处理，然后提取所有的八邻域特征
X
*
，通过训练阶段得到的 GPR 模型，对
f
（
x
）加入 GP 先验条件限制后，可以得到 GPR 模型中观测值
y
t
和预测值
f
*
t
的联合先验分布：
，
y
m
]
T
为子训练集的输出。
K
（
X
t
，
X
t
） =
K
m
为样本间
m
×
m
的协方差矩阵，
K
（
X
*
，
X
t
） = [
k
（
X
*
，
x
1
），
k
（
X
*
，
x
2
），
，
k
（
X
*
，
x
m
）]。
由此，可算出预测值的后验分布
由式（5）可以得到预测出的中心像素点的值
f
*
t
，把
n
个子训练集预测出来的中心像素点加权平均，得到
f
*
后重新整合，便可得到要求的高分辨率图像。
构建 GPR 模型实际上就是利用八邻域作为自变量，中心像素作为因变量的多元回归过程。我们知道，回归的过程是采样点拟合的过程，因此所得到的输出只是一个预测值，有可能与真实值相差甚远。另外，一幅图像即使八邻域像素相同，其中心像素点的值也未必相同，如果只构造一个 GPR 模型，其结果往往会产生一定的误差，导致输出发生偏差。因此，我们利用多组不同的特征对进行回归，将它们的输出平均作为最后输出，以减小误差。实现这一思路的措施是随机采集不同的特征对进行训练，生成多个 GPR 模型。然后输入一个测试集中的特征块到每个 GPR 模型中，最后将每个模型的输出平均。利用多个 GPR 模型，可以避免单个模型可能造成的不准确性。
1.2. 实现步骤
本文基于多模型 GPR 超分辨率重建的步骤具体如下：
（1）由已知数据集得到横截面高分辨率图像集
H
i
，对高分辨率图像进行降质处理可以得到低分辨率插值图像集
L
i
，构成训练集对
M
= {
H
i
，
L
i
}；
（2）利用低分辨率插值图像集
L
i
随机抽样的八邻域
X
以及高分辨率图像集
H
i
对应的中心像素点
y
，构成特征对
D
= {
X
，
y
}。把特征对随机分成
n
等份，可学习出多个 GPR 模型；
（3）对数据集中待重建的冠、矢状面图像进行插值，得到测试集的低分辨率插值图像；
（4）提取测试集低分辨率插值图像的八邻域特征
X
*
，利用学习到的 GPR 模型由式（5）可预测出各个子训练集对应的高分辨率像素点
f
*t
；
（5）对多个模型得到的高分辨率像素点加权平均得到
f
*
，重新整合便可得到冠、矢状面的高分辨率图像。
2. 结果
本文实验采用两个公开可用的数据集。数据集一来自德克萨斯安德森（Texas M. D. Anderson）肿瘤中心形变图像配准（deformable image registration，DIR）实验室（
http://www.dir-lab.com/ReferenceData.html
）。数据集包含了 10 组肺部 4D-CT 数据，数据 1～5 的层内分辨率范围为 0.97～1.16 mm
[
11
]
。数据 6～10 的层内分辨率均为 0.97 mm。对于所有数据，层间分辨率为 2.5 mm。数据集二来自法国里昂莱昂·贝拉尔（Léon Bérard）癌症治疗中心以及法国国立里昂应用科学学院国家医学图像研究中心（Centre de Recherche en Acquisition et Traitement de l’Image pour la Santé，CREATIS）实验室（
https://www.creatis.insa-lyon.fr/rio/popi-model
）
[
12
]
。由 6 组肺部 4D-CT 数据组成，层内的分辨率范围为 0.78～1.17 mm，层间分辨率为 2 mm。
2.1. 视觉评价
如
所示，显示的是典型数据冠状面和矢状面重建的结果。其中第二列与第四列分别表示第一列与第三列对应红框处的放大图像。从图中可以看出，多模型 GPR 比双三次插值、GPR11（文献[
8
]）、稀疏表达算法（文献[
5
]）、POCS 算法（文献[
6
]）和多相位相似方法（文献[
7
]）所得图像的视觉效果更佳。本文方法获得了更清晰的视觉效果和更少的伪影。
2.2. 量化评价
由于冠、矢状面没有高分辨率图像与之对比，我们通过边缘宽度来评价重建图像效果
[
13
]
。其公式如下：
a
为 sigmoid 函数
s
（
u
） = 1/（1 + exp（–
a
（
u
-
c
））最小二乘拟合得到的值。边缘宽度体现了 sigmoid 曲线的倾斜程度，值越小曲线越倾斜，则图像的边缘越“锐利”。
u
对应了所选边缘的坐标，
s
（
u
）为相应的像素值，
c
是采样边缘的中心位置。
实验中我们对冠、矢状面所选边缘进行分析，比较的是双三次插值，GPR11，稀疏表达算法，POCS 算法，多相位相似方法和多模型 GPR 在 5 个边缘处的边缘宽度，如
所示，A、B、C、D、E 分别表示在冠、矢状面选择的 5 个边缘区域的位置。
3. 总结
分辨率的提高对于图像的进一步处理和分析有积极意义。肺部 4D-CT 能确定某一呼吸状态下肺部肿瘤的位置，在放射治疗中应用越来越广泛，提高图像的纵向分辨率也显得越发重要。为了提高肺部 4D-CT 的纵向分辨率，本文提出了一种基于多模型 GPR 的肺部 4D-CT 超分辨率重建的方法。该方法利用横截面高低分辨率图像之间的关系，通过构造多个 GPR 模型重建出冠、矢状面高分辨率图像。该方法的优势在于：① 利用横截面的信息学习冠、矢状面的信息，解决了基于学习的方法中训练集的问题；② 构建多个 GPR 模型，既能避免因分块而引起的速度下降，又能避免单个模型缺少足够采样点引起的回归结果不准确。从实验结果分析，本文提出的方法优于传统插值方法，稀疏表达算法，POCS 算法，多相位相似性方法和基于自学习分块的 GPR11 方法。
传统的插值方法运行时间快（不足 0.1 s），但是容易导致图像模糊以及血管的不连续性。GPR11 由于重建过程数据有限，并且进行分块实验，得到的重建效果在视觉上不够理想，同时耗时较长。基于 POCS 算法的超分辨率重建，由于需要配准，因此其速度和精度均受到配准结果的影响。而基于多相位相似性方法由于其核心是基于非局部平均的处理，因此重建细节难以避免受到平滑的影响。稀疏表达算法测试图像运行时间较快，但是训练字典耗时较长。另外，该方法需要仔细选择训练图像集。由于放射剂量限制，我们没法获得高分辨率的冠、矢状面图像来构建训练集。故在本文实验中，我们从冠、矢状面图像上采集图像块并训练字典，这使得图像易出现不期望的重建细节，从而影响了重建图像质量。本文方法可归为基于学习的超分辨率方法，其以像素自身邻域信息进行约束，同时有效利用了高分辨率的横截面的信息，获得了较好的重建结果。高分辨率的肺部 4D-CT 图像能引导更为精确的肺部肿瘤个体化放疗，在下一步研究中，我们将提取多种特征，研究自适应选择特征对的多模型 GPR 超分辨率方法，进一步提高肺部 4D-CT 图像的质量。同时，我们将探讨本文方法对肺部肿瘤分割精度的影响。
Funding Statement
国家自然科学基金（31271067，61671230）；广东省科技计划项目（2017A020211012）；广州市科技计划项目（201607010097）；广东省医学图像重点实验室项目（2014B030301042）
References
1.
Khan F, Bell G, Antony J, et al The use of 4DCT to reduce lung dose: a dosimetric analysis.
Med Dosim.
2009;
34
(4):273–278.
[
PubMed
]
[
Google Scholar
]
2.
张书旭, 周凌宏, 陈光杰, 等 4D-CT 重建及其在肺癌放疗中的应用研究进展
中国辐射卫生
2008;
17
(3):375–377.
[
Google Scholar
]
3.
Yang J, Huang T. Image super-resolution: historical overview and future challenges, 2010: 20-34
4.
Irani M, Peleg S Motion analysis for image enhancement: resolution, occlusion, and transparency.
J Vis Commun Image Represent.
1993;
4
(4):324–335.
[
Google Scholar
]
5.
Yang Jianchao, Wright J, Huang T S, et al Image super-resolution via sparse representation.
IEEE Trans Image Process.
2010;
19
(11):2861–2873.
[
PubMed
]
[
Google Scholar
]
6.
Zhang Yu, Wu Xiuxiu, Yang Wei, et al Super-resolution Reconstruction for 4D computed tomography of the lung via the projections onto convex sets approach.
Med Phys.
2014;
41
(11):111917–111917.
[
PubMed
]
[
Google Scholar
]
7.
陈瑾, 张煜 基于多相位图像相似性的肺 4D-CT 超分辨率重建
计算机工程与应用
2017;
53
(15):191–196.
[
Google Scholar
]
8.
He He, Siu Wanchi. Single image super-resolution using Gaussian process regression//Computer Vision and Pattern Recognition, 2011 IEEE Conference on IEEE, 2011: 449-456
9.
何志昆, 刘光斌, 赵曦晶, 等 高斯过程回归方法综述
控制与决策
2013;
28
(8):1121–1129.
[
Google Scholar
]
10.
Williams C K I, Rasmussen C E. Gaussian processes for machine learning. the MIT Press, 2006, 2(3): 4
11.
Castillo R, Castillo E, Guerra R, et al A framework for evaluation of deformable image registration spatial accuracy using large landmark point sets.
Phys Med Biol.
2009;
54
(7):1849–1870.
[
PubMed
]
[
Google Scholar
]
12.
Vandemeulebroucke J, Rit S, Kybic J, et al Spatiotemporal motion estimation for respiratory-correlated imaging of the lungs.
Med Phys.
2011;
38
(1):166–178.
[
PubMed
]
[
Google Scholar
]
13.
Greenspan H, Oz G, Kiryati N, et al MRI inter-slice Reconstruction using super-resolution.
Magn Reson Imaging.
2002;
20
(5):437–446.
[
PubMed
]
[
Google Scholar
]
Articles from
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
are provided here courtesy of
West China Hospital of Sichuan University
