欢迎登录中国视觉网!
学术论文频道
ACADEMIC PAPERS
位置导航:首页 >> 学术论文 >> 专业论文 >> 基于正则算法的压缩视频超分辨率重建

基于正则算法的压缩视频超分辨率重建

发布时间:2012-11-09     来源:徐忠强 朱秀昌       访问次数:4813


摘 要: 超分辨率(SR)技术就是由低分辨率(LR)图像序列来重建高分辨率(HR)图像,而基于压缩视频的SR技术正成为当前研究的热点。本文在正则化理论的基础上,通过利用比特流中的信息,提出了一种新颖的空时自适应超分辨率重建算法。正则化代价函数控制着时域数据和空域先验信息之间的平衡,正则化参数在重建过程中得到并自适应地调整,利用迭代梯度下降法进行高分辨率图像的重建。仿真实验表明,本文提出的正则化自适应算法比传统算法重建图像的主、客观质量有一定的提高, 适合压缩视频的应用。
   关键词: 压缩视频;超分辨率重建;正则化;空时自适应
1.引言
超分辨率算法利用多帧低分辨率(LR)图像间的非冗余信息来提高图像的分辨率,它是一个病态求反问题。在以前的研究工作中,正则化方法被广泛应用在病态问题的反向求解中 ,正则化参数自动更新的迭代自适应算法 也被先后提出。而在当前的视频系统中,图像在传输和存储前都要进行压缩,这将导致多种编码效应,尤其在低码率的应用中。为消除这些效应,多种后处理和恢复算法 也相继被提出。由于这些算法不能有效利用帧间的相关信息(如时域冗余),因此效果并不是很好。Choi证实 ,充分利用帧间的相关性可大幅度提高重建图像的质量。这样一来,时间方向的各帧代表相关的同一场景但却不完全相同的序列,无论是帧内还是帧间的信息都可被利用。正因如此,超分辨率算法必须考虑压缩系统的影响。最近,Park针对。
   DCT压缩的图像,提出了在图像重建的同时正则化参数与量化噪声同时解算的方法 。
   本文基于正则化理论,提出了一种新的正则化代价函数,它用来平衡时域数据和空间先验信息,正则化操作被用来获取图像序列的空时相关性,利用迭代梯度下降法来求解HR图像,而正则化参数在迭代的过程中可同时得到。
接下来本文作如下安排:第二节讨论压缩视频的观测模型;第三节对正则化代价函数、正则化参数的自适应估计、运动估计以及迭代梯度下降法进行阐述;第四节针对合成的和真实的图像序列进行实验仿真,并对结果进行讨论;最后结束本文。
2  压缩视频观测模型
  我们用 表示HR图像, 其大小为qM*qN,q为分辨率增强因子。HR图像序列第k,l帧间的关系用矢量形式可表示为9:


(1)

这里d表示第l、k帧间偏移的列矢量;C(d)是描述整帧偏移的二维矩阵;n表示噪声,它反映了像素位置的偏移误差。
   HR图像经模糊、变形和降采样等处理(用矩阵 表示)后得到离散的LR图像序列g,其大小为M*N。HR图像与LR图像之间的关系可表示为:


(2)

   这里n是采集噪声。把式(1),(2)联立起来可得:


(3)

   这里m包含加性噪声和采集噪声。
   LR图像序列g经压缩后得到帧矢量y,它与HR图像帧之间的关系为:


                          (4)                            

  这里T是DCT变换,Q是量化操作,Ymc是Y1的运动补偿项。
(4)式中的量化操作会在解码帧中引入量化噪声,由于它是信号独立的,所以压缩的LR帧Y1可进一步简化为:


                               (5)                                

   这里q1代表量化噪声.
   既然每个DCT系数的量化值确定了相应系数精确值之间的间隔,因此在不知晓其它附加信息的情况下,不可能精确重建HR图像,亦即从压缩的Y1去重建HR图像Fk是一个典型的病态求反问题。
3  空时自适应重建算法
3.1代价函数
   我们知道,正则化方法利用重建HR图像的先验信息可使反问题良态化。我们利用正则化的方法来获取图像序列的空时相关性,通过最小化以下代价函数来求解Fk:


(6)

   这里J(Fk)是时域正则项,J(Fk)是空域正则项, h(fk)是正则化参数。
根据压缩视频的观测模型,我们定义


                  (7)                      

   这里Tf和TB分别表示沿时间轴向前和向后方向利用的帧数, 而


(8)

   这里D1代表高通操作,D2代表沿估计帧Fk的块边沿的高通操作。
 3.2 正则参数的自适应估计
   正则参数在重建的过程中扮演着重要的角色,因为它确保代价函数的凸性和解的稳定性。参数过大,边沿和细节被平滑,参数过小,则失真较大。我们可利用重建HR图像的每一迭代过程对其进行估计。
   为了使非线性代价函数具有全局最小,h(fk)的选择应控制时域冗余项Jl(fk)和空域平滑项Jl(fk)的平衡。我们对,h(fk)施加以下特性 :


(9)

   这里rk是一系数,控制着的J(fk)的凸度。本文我们根据文献11选择


(10)

   这样一来,我们得到:


(11)

   恰当的1/rk边界不仅可阻止病态问题中正则化参数增大的可能性,而且还自适应增强了图像的细节。可以看到,空域平滑项Jl(fk)越小,能量越集中分布在重建的HR图像的低频部分,此时对应较小的h(fk),这可用来进一步重建HR图像的高频部分,反之亦然。
3.3 运动估计
   我们知道,获取HR图像的重要一步是对运动失量进行估计,但编码器提供的运动失量不能直接应用,这是因为 (i) 精度不够高; (ii) 它们只针对LR帧 ; (iii) 并不是所有的失量都提供。因此,我们必须对HR帧的运动失量进行估计。
既然编码器为了压缩LR帧已为我们提供了运动失量,我们可以利用此信息来估计HR帧的运动失量。可考虑把已估计出的HR帧的运动失量和LR帧提供的运动失量线性组合成一新的运动失量集:


(12)

   这里Dylk是编码器提供的运动失量进行上采样后的运动失量,  Dylk是由估计的HR帧得到的运动失量,控制参数。注意到,如果Alk=0,则不利用编码器提供的运动失量, 或表明Dylk不可靠, 或编码器根本就没提供运动失量。
   已有的实验12验证了这种方法提高了对运动失量估计的精确度,但在某些情况下却未然(例如,当宏块包含部分或两个不同的运动物体时),此时,我们不去利用编码器提供的运动失量。为此,方程(12) 只应用在DYLK和DFLK的差值小于一个预定值 的情况下,即:


                        (13)                            

这里.

   3.4 循环迭代梯度下降重建
显然,j(fk)的每一项都是二次项并且是凸的。显然,在这样一个凸约束条件下的求解问题具有良态解。我们可利用迭代梯度下降优化算法来求解代价函数(6)。
   首先对HR图像进行初始估计得出F0k,然后利用以下准则进行不断迭代:


(14)                  

这里J(FK)是代价函数针对fK的梯度:


(15)

   最小的fK满足J(FK)=O, 也满足H(FK)=0. 这样, (15)式的最后一项为零。于是HR图像FK可以利用以下迭代方法得到:


(16)

   这里H(FK)和FHK分别代表第N次迭代后第K帧的正则化参数和重建的HR图像, Β是收敛参数。
   在重建过程中首先进行初始化:先把解码的图像双线性内插HR栅格上,这作为HR图像的初始估计DLK。同时计算出偏移矢量,然后进行两倍上采样,作为偏移矢量的初始估计DLK。不断循环迭代,这构成了循环迭代梯度下降算法。
  4  仿真实验
为了验证算法的性能,我们测试两组图像序列,一组是合成的,另一组是摄像机拍摄的实际图像序列。我们利用经验值hk(f)=0.1 作为固定正则化(FR:Fixed Regularization)算法,它与本文提出的自适应正则化(AR:Adaptive Regularization )算法相比较。准则|fn+1-fn|2/|fn|2≤10-6用来终止迭代,选择β=2,tf=bf=2 ,D1和D2是二维离散拉普拉斯高通滤波函数,D1进行块卷积操作,D2沿块边沿进行差值操作。为了测试运动估计对不同方法的独立性,在方程(13)中,当编码器提供运动失量时,选取αlk=0.5,δ=2 ,否则αlk=0 。
4.1合成序列的实验
第一个实验,LR图像产生于HR“mobile” 序列的第5帧,尺寸为  ,像素以{(0,0), (0,0.5), (0.5,0), (0.5,0.5)}方式平移,然后在水平和垂直方向进行抽样,再经过模糊函数是 的运动平均滤波,产生出  的LR 序列,最后压缩成256Kbps 的MPEG-4 码流。
   利用FR和AR算法重建的图像分别如图1(a)–(b)所示 ,其峰值信噪比(PSNR)分别为28.73 dB 和29.56 dB。


(a)FR算法重建结果             (b) AR算法重建结果  
图1合成图像序列的实验结果

   4.2 真实图像序列实验
第二个实验, HR序列由摄像机轻微的摇移而拍摄到,尺寸为  ,该序列有两点不同于合成的序列:首先,帧间的子像素偏移不再是精确定义的 ,而是与场景的运动有关;其次,HR帧的有些像素可能不在LR帧中出现,有些像素可能从未观察到(如果场景中没有运动)或者它们在时间轴上看不到。这里,利用水平块匹配算法 对LR帧进行校准,其它参数同合成序列实验。图2(a)–(b) 分别是FR和AR算法重建的图像如图,其PSNR分别为29.67 dB 和30. 13dB。


(a) FR算法重建结果           (b) AR算法重建结果  
图2真实图像序列的实验结果

   从以上两个实验我们看到,FR 算法会引入编码效应,振铃效应和块效应可见,重建的图像过于平滑。这主要是由于该算法忽视了原始图像序列空时变化的特性,导致量化噪声过大所致。而AR 算法则显示出相当的优势,在重建过程中,HR帧自适应地迭代更新,正则化参数同时得到,不仅编码效应被去除,而且高频信息被有效重建,整帧的图像质量被提高。
   另外,针对合成的和真实的图像序列,AR 算法比FR 算法的PSNR分别提高0.83dB 和0.46 dB。显然,由于合成图像序列的运动情况已知,所以比真实图像序列的提高幅度要大。
 5 结论
本文针对压缩的图像,提出了一种新颖的空时自适应超分辨率重建算法。正则化代价函数用来平衡时域数据和空间先验信息,正则化操作用来获取图像序列的空/时相关性,利用迭代梯度下降法来求解HR图像,而正则化参数在迭代的过程中同时得到。仿真实验表明,本文提出的超分辨率算法与传统的算法相比,重建图像的主、客观质量有一定的提高, 适合于压缩视频的应用。

参考文献
[1] N. P. Galatsanos and A. K. Katsaggelos, “Methods for choosing the regularization parameter and estimating the noise variance in image restoration and their relation,” IEEE Trans. Image Process., 1992,1(3):322–336
[2] M. G. Kang and A. K. Katsaggelos, “Simultaneous multichannel image restoration and estimation of the regularization parameters,” IEEE Trans. Image Process., 1997, 6(5): 774–778
[3] E. S. Lee and M. G. Kang, “Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration,” IEEE Trans. Image Process., 2003, 12(7): 826–837.
[4] Y.Yang, N. Galatsanos, and A. Katsaggelos, “Projection-based spatially adaptive image reconstruction of block transform compressed images,” IEEE Trans. Image Process., 1995, 4(7): 896–908.
[5] J. Luo, C. Chen, K. Parker, and T. S. Huang, “Artifact reduction in low bit rate DCT-based image compression,” IEEE Trans. Image Processing, 1996,5(9): 1363–1368
[6] M. C .Hong, C. M.Yon, Y. M. Park, “An efficient real time algorithm to simultaneously reduce blocking and ringing artifacts in compressed video,” Int. Conf. on Image Processing, Kobe, Japan, 1999, pp. 899–903.
[7] M. G. Choi, N. P. Galatsanos and A. K. Katsaggelos,“Multichannel regularized iterative restoration of motion compensated image sequences,”J. Visual Commun. Image Representation, 1996, 7(3): 244–258.
[8] S.C. Park, M.G. Kang, C.A. Segall and et al. “Spatially adaptive high-resolution image reconstruction of low-resolution DCT-based compressed images,” IEEE Trans. Image Process., 2004, 13(4): 573–585.
[9] C.A.Segall , A.K. Katsaggelos, R. Molina and J..Mateos. “Bayesian resolution enhancement of compressed video.”  IEEE Trans. Image Processing, 2004, 13(7): 898–911.
[10] M. G. Kang and A. K. Katsaggelos, “General choice of the regularization functional in regularized image restoration,” IEEE Trans. Image Process., 1995, 4(5):594–602.
[11] Hu He and L. P. Kondi, “ An Image Super-Resolution Algorithm  for Different Error Levels Per Frame” , IEEE Trans. Image Process., 2006, 15(3): 592-603.
[12] J. Mateos, A.K. Katsaggelos and R. Molina. “Resolution enhancement of compressed low resolution video”. IEEE Int. Conf. Acoustics, Speech, Signal Processing, Istanbul, Turkey, June 2000, vol. 6: 1919 – 1922.
[13] M. Bierling. “Displacement estimation by hierarchical block matching.” in Proc. SPIE Visual Communications and Image Processing, 1998, 942–951.