首页>论文>正文
日期
02/19
2008
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

基于对比敏感度的图像结构失真测量
收藏
2008-02-19 15:51:44来源: 王正友,黄隆华等

摘  要:本文通过分析人眼视觉系统(HVS)的对比敏感度特性,利用小波变换提取每一频率分量的失真指标,提出了一种图像结构失真评价的新方法。其基本思路是根据HVS特性中的对比度敏感度、即空间频率特性曲线,构造一个与图像大小相同的加权系数矩阵,对图像进行多级小波变换后的系数进行加权,对每一频率分量提取相应的频率均值失真、对比度失真和相关度失真三个指标,然后将这三个指标进行结合,并构造一个距离函数,求得图像结构失真的评价。实验表明该方法能较好的反映人的主观感受,对各种结构失真的图像具有评价效果,且明显优于一般的图像质量评价方法。
关键词:图像质量评价;HVS;小波变换;结构失真;对比度敏感度

1  引 言
在图像信息技术应用的诸多场合,如数字图像的获取、处理(如图像压缩)、传输和记录的过程中,由于成像系统、处理方法、传输介质和记录设备等不完善,加之物体运动、离焦等原因,不可避免地带来某些图像失真和降质。数字图像及数字视频的采集、显示、存储、传输、压缩等领域都需要对图像进行质量评价,尤其是压缩技术的广泛使用,对判定图像质量的要求更加迫切。
数字图像质量评价的方法包括主观评价和客观评价。主观评价是人直接观察图像,根据规定的评价标准和评价尺度以及人眼对图像的视觉感觉来对图像质量进行打分和评价,再按照各观察者打分的统计平均来给出最后的评价结果。在70年代, 对图像质量的主观评价方法, 在文献[1 ]、[2 ]中都做了一定的工作。主观评价结果虽然比较全面,符合图像的实际观察质量,但是该方法主要局限于定性分析,无法应用数学模型对其进行描述,不易定量准确测量,易受客观因素的影响,而且太过费时费力,另外,主观质量评价的随意性很大,同一个人在不同情况下对同一幅图像可能会打出不同的分,无法实现嵌入式处理或实时处理等。在实际应用中,图像的主观质量评价方法受到了严重限制,甚至根本不适用于某些应用场合,如实时传输、人脸识别系统等。传统的客观评价主要是均方误差(MSE)和峰值信噪比(PSNR),是对整幅图像进行误差综合。该方法主要是定量分析,其表达简单、计算方便,但不符合人的主观感受[3]。由于对图像质量的评价最终取决于观察者的感受,所以更理想的、更符合图像实际质量的图像质量评价方法也必须依据人的视觉、心理特性,把主观与客观评价方法有机结合起来。大量研究表明:考虑HVS特性的评价方法优于没有考虑HVS的评价方法[ 4 ,5]。虽然人眼视觉系统相当复杂,但随着对其研究的深入,对图像质量的评价也获得了较大的进展。近年来,结合HVS特性进行客观图像质量的方法及模型不断出现[6,7,8],且都取得了较好的效果。
2  研究现状
当前结合HVS特性的相关研究主要有基于感兴趣区域的图像质量评价方法[9,10]、基于结构失真图像质量评价方法[11-16]、基于视觉特性加权图像质量评价方法[17,18] 和基于质量相关因素提取的图像质量评价方法[3,19]。
基于感兴趣区域的图像质量方法主要是根据人眼对不同的区域的感兴趣程度分为感兴趣区域和不感兴趣区域,对不同的兴趣区域的失真设定不同的权值,从而获得对图像质量的评价。该方法能很好的反映人的视觉感受,与人的主观感觉相符,但是对兴趣区域的选择与确定是一个难点,所以该方法在实际应用中有其不足。
基于结构失真的评价方法主要是根据人类视觉特性从视觉区域提取图像的结构性,把评价值分为评价图像和标准图像之间的亮度比较、对比度比较和结构相似性比较三部分,然后结合三部分的比较结果进行乘积运算,得到图像质量的评价。实验表明该方法可以有效地避免传统客观质量评价方法的缺陷,与人的主观感受一致,另外,由于是在空域进行处理,所以计算简单,易于系统实现。
基于质量相关因素提取的评价方法主要是根据人眼视觉特性,将影响图像质量的相关因素分为亮度、清晰度(模糊度)和相关度。利用小波变换,从频域提取三个指标,并通过构造一个距离函数求得被测图像和标准图像之间的欧式距离作为图像质量的评价。该方法将人的主观视觉感受用数学方法加以表达,能够细致地反映图像质量的各种因素,效果明显优于传统的图像质量评价方法。
在参考以上文献的基础上,笔者认为要较好的进行图像质量评价,一方面要很好的利用HVS特性,另一方面要充分考虑影响图像质量的各种因素,从中抽取影响图像质量的主要因素。另外,根据近年来的研究表明,小波变换具有与HVS特性有很好的拟合性。本文的图像质量评价方法将图像进行小波变换,充分利用HVS特性中的空间频率特性,对小波分解后的小波系数进行加权,由加权后的小波系数提取各分量的频率均值失真、频率对比度失真和频率相关度失真,并根据三种失真指标构造一个距离函数求得被测图像与标准图像的欧式距离作为被测图像的质量评价结果。实验结果表明,该方法能很好的反映人的主观感受,效果明显优于传统的客观评价方法,且计算方法简单,易于系统实现。
3  HVS特性
为了理解人类视觉系统(HVS),人们对它进行了大量的研究[20]。研究表明HVS具有许多特性,诸如对比度、多通道结构、掩盖效应、视觉非线性定律等。这此特性都与图像质量评价相关[21]。HVS特性中的对比度敏感度描述了人眼对空间频率的敏感特性,其计算模型用CSF(Contrast Sensitivity Function)来表示。不同的实验所有的CSF函数形式各异[22],但基本上都认为HVS的对比度敏感度是空间频率的函数。Mannos和Sakrison提出的CSF模型描述如下[23]:

其中,空间频率 ,单位为周期/度(cycles/degree), 分别为水平、垂直方向的空间频率.

图 1 CSF空间频率特性曲线
Fig. 1. spatial frequency-characteristic curve

图 2 CSF空间频率特性曲面
Fig. 2. spatial frequency-characteristic surface
根据文献[16],当空间频率低于0周/度和高于60周/度时,人眼将无法区分象素,即CSF函数的实用范围为0~60 周/度。从图像1可以看出,HVS在空间频率域呈带通特性,CSF值f=8.0在 (周/度)附近取得最大值,似近为1 ,即其对比度最敏感,而在高低频端对比度敏感度下降。
图2为CSF在二维空间中的表示,即为水平和垂直方向空间频率的联系函数。

4  图像结构失真的相关因素
图像结构失真相关因素的提取方法决定了图像质量评价方法的优劣。设一幅图像为 的灰度图像( N为2的整数次幂)。将图像进行 级小波分解,得到 大小的小波系数矩阵。与小波系数矩阵大小相对应,根据CSF空间频率曲线,构造一个同样大小的加权矩阵。将两个矩阵作点乘运算,可以得到一个加权小波系数矩阵。利用加权小波系数矩阵,对每一分量提取频率均值、频率标准差和频率协方差,提取方法如下:

(1) 频率均值

其中: 为加权后的小波系数, n为分量的行或列数。
(2) 频率标准差

(3) 频率协方差

利用以上计算出的值,对每一频率分量,分别进行频率均值比较、对比度比较和相关度比较。计算方法如下:
(1) 频率均值

其中: 分别表示原图和被测图像相对应分量的频率均值。
(2) 频率对比度

其中: 分别表示原图和被测图像对应分量的标准差。
(3) 频率相似度

其中:

表示原图和被测图对应分量的相关度。
用以上方法计算出各频率分量的三个指标后,将其分别汇总以求得整幅图像的频率均值失真、频率对比度失真和相关度失真三个总体指标,并通过构造一个三维向量的距离函数,最终获得图像结构失真评价指标。本文构造的三维向量距离函数为:

其中:m指频率分量的总个数。

5  实验结果
为验证算法的可行性,本文采用三类图像,分别为加盐椒噪声、高斯噪声和模糊图像,通过对其进行评价,得出一种较综合性的图像结构失真评价方法(注:本文中所用标准图像为LABORATORY FOR IMAGE AND VIDEO ENGINEERING in collaboration with CENTER FOR PERCEPTUAL SYSTEMS at The University of Texas at Austin)。图3为标准图像,图3.a-3.c为分别添加0.03,0.06和0.1的盐椒噪声,图3.d-3.f为分别添加0.03,0.06和0.1的高斯噪声,图3.g为加高斯模糊,图像3.h-3.i为分别产生距离25和45,角度为45的运动模糊。图像如下:

 

图 3-图 3.a

  

图 3.b-图 3.c

 

图 3.d-图 3.e

  

3.f - 3.g

 

图 3.h-图 3.i

图3 实验结果图像
Fig. 3  experimental images

由于本文采用图像大小为 512X512 ,对图像进行9级小波变换,所用小波基为Daubechies小波。根据CSF空间频率曲线构造一个 512X512 大小的加权矩阵,将小波变换后的系数矩阵和加权矩阵进行点乘运算,可以得到10个加权后的小波系数矩阵。采用第3节中所述方法求得9幅被图像与标准图像的结构失真数据,同时将其与PSNR和MSE进行比较,可以得到如下表格(本文结果以CSFSSIM表示):
表1本文方法与MSE、PSNR和主观分的对比:

根据PSNR定义,其值越大,图像失真越小,但从图像上可以看出,图3.g和图3.h的视觉效果却不如图3.a。对于PSNR值较小的图3.c、图3.e和图3.f,其视觉效果比图3.i却要好。利用本文方法得到的数值可以看出,本文对图像结构失真的评价能很好的拟合人的视觉感受。
6  结  论
对图像进行结构失真评价要考虑人眼视觉系统特性。本文提出了一种结合HVS中的对比度敏感度特性进行图像质量评价的新方法。该方法将图像进行小波变换,结合CSF空间频率曲线对小波分解系数进行加权,由加权后每一频率分量提取三个相关指标,即频率均值、对比度和相关度。根据三个相关指标,构造一个图像结构失真距离函数,求得对图像总体结构失真值。实验证明该方法能较好地反映人的主观感受,效果明显优于传统图像质量评价方法。利用该文提出的方法,对各种结构失真的图像,其评价结果都能较好的拟合人的视觉感受。

 

参 考 文 献
[1] Barnard T W. A literature survey on image quality evaluation. The Perking Elmer Corporation, Engineering Report ER- 177, 1971
[2] Harris J L. Image evaluation and restoration. J Op t Soc Am, 1966, 56(5) : 569~ 574
[3] 徐鲁安, 叶懋冬, 章琦. 一种新的图像质量评价方法[J]. 计算机工程与设计, 2004, 25(3):418-420
[4] 汪孔桥. 数字图像的质量评价[J]. 测控技术. 2000, 19(5):14-16.
[5] Eskiciogln A M, et al. Image measures and their performance. IEEE Trans. Comm, 1995,43(12): 2959-2965.
[6] Lai Yung-kai, Jay Kuo C C. A harr wavelet approach to compressed image quality measurement [J]. Journal of Visual Communication and Image representation, 2000, 11 (1): 17-40.
[7] Chin F Z C, Xydeas C S. Dual-mode image quality assessment metric [C]. In: IEEE Region 8 International Symposium on Video Image Processing and Multimedia Communications, Zadar, Croatia, 2002, 6: 137-140.