摘要：区域图像检索(RBIR)通过图像分割，提取图像的局部视觉特征，进行相似度匹配。 本文分析了图像分割在RBIR中的不足后，提出了一种简化的图像区域模型——前景和背景。本文先进行图像分类，将图像分为对象图和背景图两类；然后对分类为对象图的图像进行有效区域定位，最后对有效区域进行分割得到前景对象；而对被分类为背景图的图像则不进行分割，将整个图像视为一个区域整体；检索系统提取分割区域的颜色和纹理特征进行相似度匹配。本文实现了基于上述方法的一个RBIR系统ObFind，实验表明该方法具有较高的检索准确率和检索速度。
关键词：区域图像检索；前景划分；图像分割

1  引言
   随着多媒体时代的到来，人们越来越多地接触到大量的图像信息。如何有效地组织、管理和检索大规模的图像数据库，成为当前一个热门的研究课题。基于内容的图像检索(Content Based Image Retrieval, CBIR) 技术是解决这一问题的关键性技术之一，它既体现了图像信息的特点，又结合了传统的数据库方法，是一项在理论研究和实际应用中都具有前途的新技术。目前大多数CBIR系统都是基于图像全局特征的，如QBIC、Photobook和Virage等。但是，也有一些是基于区域特征，如Blobworld[1]、Windsurf[2]、VisualSEEK[3]和SIMPLIcity[4] 等。
   基于图像区域特征的检索技术以图像分割为手段，通过提取图像分割后区域的颜色、纹理和形状等视觉特征，结合一定的相似度匹配算法，可实现相似图像检索的目的。在基于区域特征图像检索中，图像分割是整个系统至关重要的一个环节，分割的好环直接影响检索性能。由于准确的图像分割仍是图像处理领域一个尚未解决的问题，因此结合图像分割的CBIR系统的性能受到由不准确分割带来的影响，主要表现在：
   (1)图像分割技术的不成熟是根本限制，还没一种成熟的方法能够从复杂的彩色图像中准确地提取关键对象；
   (2)对整幅图像进行分割可能导致过度分割或者不必要的分割，既影响了检索结果，又增加了方法的复杂度；
   (3)图像被分割为多个不规则区域，这些区域不一定对应于独立的图像对象，[5]中提出的IRM方法在一定程度上弥补了不准确图像分割带来的影响，但是多个不规则区域间的相似度比较更加复杂，影响系统的效率。
本文从基于图像前景与背景划分的角度出发，提出了一种基于区域特征的图像检索方法，同时实现了一个基于该方法的RBIR系统ObFind。实验表明，该系统总体上具有比SIMPLicity更好的检索性能。

2  前景与背景划分算法
   对于特征分布简单的图像而言，一般的基于全局特征的检索方法已经能够得到较好的结果；而对于特征分布复杂的图像来说，对整个图像进行分割容易产生过度分割和错误分割，不仅不能提高系统性能，还增大系统复杂度，影响检索效率。
   从图像的构成来看，图像通常可简单地分为前景和背景，对于前景不突出的图像可认为整个图像都是背景。基于这种分析，本文提出了基于前景和背景划分的区域图像检索方法。
2.1  特征参数选择和规则分块
   本文选择了具有更好的图像尺寸大小、旋转与视角无关的颜色和纹理作为图像的特征表示。颜色描述方式为色调和饱和度直方图，以及色调、饱和度和亮度中心矩；纹理描述方式为基于共生矩阵的四个统计量——能量(ENG)、熵(ENT)、对比度(CON)和关系矩(COR)；由这些参数组成图像特征向量。
   同时，为了减小图像分割中产生的过度分割和不必要的冗余分割，本文将图像划分为规则的9个区域，如图1所示。

图1  图像划分示意图

   称图1中编号为1、3、7、9的区域为角区域，编号2、4、6、8为边区域，编号5为中心区域，边区域和中心区域统称为主区域。这里是主要考虑了构图理论，一般图像中的显著对象或主题位于图像中心较大区域的概率更大，而角上的区域基本上可以忽略不计，因此实际上本文只考虑了5个区域(编号分别为2、4、5、6和8)，减少了计算量。
2.2  图像分类与有效区域定位算法
   图像分类与有效区域定位算法是前景提取的基础，其流程如图2所示。

图2  图像分类与有效区域定位算法流程

   (1) 分类算法
   首先提取各个区域主导色调分布(Dominant Hue Layout, DHL)和颜色中心矩(Color Moment, CM)参量，然后计算编号5区域与编号1至9(5除外)区域的综合距离，如果距离大于预先所设置的阈值，则图像为对象图，否则为背景图。
   分类算法和有效区域定位算法具有内在联系，因此分类算法的具体过程将在下面与有效区域定位算法一起给出。
   (2) 有效区域定位算法
   视觉上不同的区域具有不同的主导颜色分布图。因此，可根据主导颜色分布图的比较，判别对应区域的相似度，这是算法的关键之处。本文以编号为1、3、7和9的区域为参考区域，以区域的主导颜色直方图和颜色矩作为颜色特征描述方式，用加权的欧式距离公式计算编号为2、4、5、6和8的区域与参考区域的距离。如果最小距离大于给定的阈值，则判定该图像为对象图，否则为背景图。如果为对象图，则从中选取距离最大的区域为初始对象区域，记下编号；然后判断该区域每个邻近非参考区域与初始对象区域的距离，如果距离小于给定的阈值，则将其合并生成新的对象区域，并记录其编号，最终得到的区域即为有效区域，输出记录下的编号。算法步骤如下：
①提取各个区域特征
。其中，i为区域编号，为主导颜色描述子，为颜色中心矩描述子；
   ②计算相似度
   定义区域距离，其中W为描述子间的权重向量。本文仅考虑区域5与其他所有区域间的距离，计算得到，选取其中最小的五个距离得；
   ③图像分类
   如果满足条件：（其中，为阈值，本文取为3.0），则图像被分类为对象图，转到步骤4；否则为背景图，算法结束；
   ④有效区域定位
   根据公式，判定编号2、4、6、8的区域是否为有效区域。
2.3  前景提取算法
   图像分割技术不是本文研究的重点，本文前景提取主要参考了文献[6]中提出的中心对象提取算法(Central Object Extraction Algorithm, COEA)，这里简要介绍该算法的主要思想和步骤。
   COEA本质上属于区域分割方法，并且结合了JSEG分割技术[7]。在COEA中引入了两个重要的概念：支持颜色对和支持像素集。支持颜色对是指一个颜色对满足条件，其中和分别为，中心对象区域和背景区域中，颜色对在给定自相关矩阵中的数值。由所有邻近的满足支持颜色对的像素对组成的集合，称为支持像素集。从实际意义上说，支持颜色对和支持像素集都表达了图像中心对象的颜色和区域特点，实现了中心对象区域和背景区域的划分。
   COEA主要分为两个步骤：首先进行中心对象定位，初步确定对象范围；然后进行背景分析和中心区域生长。考虑到本文在进行前景提取前已经对图像进行有效区域定位，图像中的中心对象所在区域基本上已经得到，因此本文在实现COEA时略去了第一个步骤，而主要实现了第二个步骤。

3  实验分析与比较
3.1  ObFind系统介绍
   基于前面所提出的算法，作者在PC机的.NET平台上，用Visual C# 设计并实现了一个，基于前景与背景划分的区域图像检索程序ObFind（Object Find System对象发现系统），图3是该程序的主界面。

图3  ObFind系统主界面

   ObFind系统主要实现了以下功能：

• 图像预处理：包括灰度化、平滑化、图像增强、直方图均衡化等；

• 特征提取：包括颜色的直方图、中心矩、布局、相关图和纹理的基于共生矩阵的能量、熵、自相关、逆差矩、对比度及Tamura描述方式粗糙度和对比度；

• 基于全局特征检索：不对图像进行区域划分，根据图像的全局颜色和纹理特征检索；

• 基于区域特征检索：对图像进行区域划分，并根据查询图的类型进行检索。若查询图为对象图则根据区域颜色和纹理特征检索，否则采用全局特征检索；

• 区域相关反馈：指定图像的相关类型并进行二次检索。

   ObFind系统的工作流程如图4所示。

图4  ObFind系统流程图

3.2   实验结果
   以ObFind系统为基础，本文分别对第二部分中提出的几个算法的效果进行了实验分析和比较，内容包括图像分类正确率、有效区域定位可靠性、区域相关反馈以及系统总体检索性能等。
   本文实验图像库是从COREL库中取出的子库，共有图像1000张，根据图像内容分为土著、海滩、建筑、汽车、恐龙、大象、花、马、山地、菜肴等10个类别，每个类别有100张。图像分类以及系统检索性能实验，都是在这个图像库中进行的。
   (1) 有效区域定位
   对于对象显著的图像，本文的有效区域定位算法一般能够准确地进行对象定位，如图5。图中给出了几个经过有效区域定位后的图像，其中黑色方框所包围的区域为有效区域，即对象所在区域。

图5  有效区域定位例子

(2) 前景提取
   经过有效区域定位分析后，得到图像中心对象(前景)的粗略位置，接着根据[8]中的图像分割算法对有效区域进行分割，从而得到图像前景，图像的其余部分将被当作背景处理。
   由于对有效区域进行分割与对整幅图像进行分割的方法是一致的，因此这里仅以对整幅图像进行分割为例，图6给出了两个分割效果较好的例子。

图6  前景提取实例

   (3) 系统检索性能
   为了检验基于本文方法的区域检索系统的总体性能，本文将与[4]中的SIMPLIcity系统的检索性能进行比较。实验内容有两个：一个是返回的前100张图像的平均检索准确率；二是平均检索准确率与返回图像数量间的变化关系。实验结果如图7和图8所示。

图7  ObFind与SIMPLIcity系统检索准确率的比较

图8  系统的检索准确率变化曲线图

   从图7可以看出，本文的ObFind系统在前100张的平均检索准确率与SIMPLIcity很接近，而且在汽车和菜肴这两个类别上，本文的效果明显比SIMPLIcity好。从总的检索效果来看，本文的ObFind与SIMPLIcity相当。检索效率方面，由于图像分割是影响区域图像检索系统性能的一个重要因素，而本文采用了先粗略定位对象再进行分割提取对象的方法，这就大大减小了计算复杂度；同时本文将图像规则地划分为一定的区域，图像由两个部分——前景和背景组成，区域的规则性和区域数量的缩小将会大大缩小对象特征提取和区域匹配等算法的运行时间，从而提高系统的检索效率。综合系统的检索效果和效率来看，本文的检索方法更优，在不降低系统总体检索效果的条件下降低算法的复杂性，提高检索效率。
   图8中系统检索准曲率变化曲线反映的是系统检索准确率的鲁棒性。系统的鲁棒性好，则系统的平均检索正确率，不会因为返回图像数量的减小而急剧降低。这说明图像库中大部分与查询图相似的图像的排序都靠前，而不相似的则居后，体现了相似度判定法的可靠性。

4  结  论
   图像分割是基于区域图像检索的基础，它是系统性能一个重要影响因素。本文在参考其他方法的基础上，提出了一种新的基于前景与背景划分的分割策略。
   与传统的将整个图像进行分割的方法相比，本文方法的优势在于：(1)缩小了分割范围，减小了错误分割和冗余分割；(2)简化了图像区域模型，分割后图像被划分为两个部分——前景图和背景图；(3)减小了区域匹配时要比较的区域数量，降低了区域匹配算法的复杂度。
   实验表明，采用该方法不仅不会显著降低系统的检索准确率，而且能够提高检索速度。

参 考 文 献
[1]C.Carson, M.Thomas, and S.Belongie, etc. Blobworld: A System for Region-based Image Indexing and Retrieval. Third Int. Conf.on Visual Infromation System, 1999.
[2]S.Ardizzoni, I.Bartolini, and M.Patella. Windsurf: Region-based Image Retrieval Using Wavelets, IWOSS99,  1999, 167-173.
[3]J.R.Smith and S.F.Chang. Querying by Color Regions Using the VisualSEEK Content Based Visual Query System. In: Intelligent Multimedia Information Retrieval. New York: AAAI Press, 1997.
[4]J.Z.Wang, J.Li, and D.Chan, etc. SIMPLIcity: Semantic-sensitive Integrated Matching for Picture Libraries. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2001, Vol.23.
[5]J.Li, J.Z.Wang, and G.Wiederhold. IRM: Integrated Region Matching for Image Retrieval. ACM Multimedia 2000 Los Angeles CA USA, 2000.
[6]S.Kim, S.Park, and M.Kim. Central Objects Extration for Object-Based Image Retrieval. CIVR, LNCS, 2003, 39-49.
[7]Y.Deng. A Region Based Representation for Image and Video Retrieval. PhD Dissertation, University of  California at Santa Barbara, 1999.
[8]叶齐祥、高文、王伟强等. 一种融合颜色和空间信息的彩色图像分割算法. 软件学报, 2004,Vol.15, 522-530.