基于内容的图像检索技（CBIR）术相术介绍

基于内容的图像检索技（CBIR）术相术介绍

kezunhai@gmail.com

http://blog.youkuaiyun.com/kezunhai

            近20年来，计算机与信号处理领域如火如荼地发展着，随着普通计算机的性能不断地提高，人们对计算机处理信息的能力及要求不断地提高。传统的基于文本检索技术已经难以满足人们的需求，图片作为人们对周围世界的感知媒介，以图片为基本输入，从网络海量数据库中检索所需的信息已具有了强大的研究价值和商业应用。“有图有真相”和“一图胜过千言万语”已不再是虚夸,以图像为主的多媒体信息迅速成为交流与服务的主流，研究学者们很早就对如何有效地组织和管理图像信息进行了研究，逐步形成了基于内容的图像检索的新研究方向。基于内容的图像检索（CBIR：Content-Based Image Retrieval ）是指根据图像对象的内容及上下文信息在大规模多媒体数据中检索所需信息。本文将对基于内容的图像检索技术做一个简单的介绍，有兴趣的可以参考文中给出的参考资料。

          下图是一个典型的基于内容的图像检索系统的结构图，一般由用户界面、 检索系统和存储系统几个部分组成，图像存储和图像检索是系统的核心部分，也是近年来这一领域的研究重点。

           常用于内容检索的图像特征有图像的颜色、纹理、形状、边缘以及语义特征。其中，颜色，纹理，形状，图像边缘特征，是基于人的视觉原理，而语义特征是基于用户查询中对于图像内容的描述。颜色特征主要包括颜色直方图、颜色矩等，颜色特征是一种全局特征，它描述了图像或图像某个区域所对应的景物的表面性质；纹理特征是一种统计特征，它需要在包含多个像素点的区域中进行统计计算，纹理特征常具有旋转不变性，并且对噪声有较强的抵抗能力。主要包括粗糙性、方向性、对比性等。纹理特征描述方法大致可分为四类：统计法、结构法、模型法、频谱法等；形状特征是物体自身的一个重要特征，一般来说一个物体可以有不同的颜色，但它的形状不会有很大差别。形状描述方法主要有两类：基于边缘和基于区域的形状方法，基于边缘的形状特征提取用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等特征来描述物体的形状，适用于图像边缘较为清晰、容易获取的图像；基于区域的形状特征提取的主要思路是通过图像分割技术提取出图像中感兴趣的物体，依靠区域内像素的颜色分布信息提取图像特征，适合于区域能够较为准确地分割出来、区域内颜色分布较为均匀的图像。

          要想了解更多关于图像检索的理论知识，请参考：

          1）周明全、耿国华、韦娜. 基于内容图像检索技术. 清华大学出版社.

          2）孙君顶 、赵珊 .  图像低层特征提取与检索技术. 电子工业出版社.

这两本内容重叠的部分比较多，个人觉得周明全编的那本书更言简意赅，但是孙君顶的内容更全，大家可以任选一本即可。

         下面介绍几个国外的图像检索的项目或系统：

         1）1、QBIC：http://wwwqbic.almaden.ibm.com/
         这是IBM的一个系统，采用了三类特征，分别是颜色直方图（描述颜色分布特征）、形状一阶矩（描述形状）以及纹理信息（包括对比度、粗细度、方向性），并且该系统采用数据库技术来处理高维数据。

         2）、Blobword：http://elib.cs.berkeley.edu/photos/blobworld/
         这是加利福尼亚大学伯克利分校开发的一个系统，该系统利用图像分割技术提取特征，通过EM簇的方法对图像的颜色、纹理和位置进行聚类，实现分割。用户查询时，通过手工选择一个区域，系统返回与选择区域相似的图片返回。

         3）、AIMBA (Search IMages By Appearance):http://simba.informatik.uni-freiburg.de/
         该系统通过提取图像的颜色和纹理不变特征（对旋转和平移），用户通过自设定权重实现相似性检索。

         4）、VIPER (Visual Information Processing for Enhanced Retrieval):http://viper.unige.ch/
         该系统采用一种二值特征的高维空间(80000)以及允许快速访问的逆向文件(inverted file)。在HSV颜色空间，计算颜色直方图以及一系列Gabor系数（a set of Gabor coefficients），根据特征出现的次数决定特征的权重。可喜的是，VIPER是一个开源库，可以通过GPL免费获取。现在该库已经扩展为一个用于医学图像检索的系统。源码获取地址：http://www.gnu.org/software/gift/gift.html

         5）、CIRES：http://amazon.ece.utexas.edu/~qasim/research.htm
         该系统采用颜色直方图(15 bins)作为颜色特征，Gabor特征表示纹理特征，并提取了十字线(line crossing)与交叉线( line junctions)。

         6）、FIRE(Flexible Image Retrieval Engine)：http://thomas.deselaers.de/fire/

         FIRE是由 Thomas Deselaers及其同事开发的一个开源的图像检索引擎，C++代码编写，细节内容可以参考Thomas Deselaers的博士论文，也可以的可以去上述网站查看更多信息。

         7）、IRMA (Image Retrieval in Medical Applications) ：http://wang.ist.psu.edu/

         8）、IRMA (Image Retrieval in Medical Applications)：http://www.irma-project.org/

         9）、Image Retrieval：http://pages.cs.wisc.edu/~beechung/dlm_image_processing/image_processing/retrieve.html

         10）、Content-Based Image Retrieval：http://homes.cs.washington.edu/~shapiro/cbir.html

         11）、Content Based Image Retrieval System with Relevance Feedback：http://www.ifp.illinois.edu/~xzhou2/demo/cbir.html

          除了以上列出的内容外，还有很多商用的网站：

          1）、http://tineye.com/ 
          Tineye是典型的以图找图搜索引擎，输入本地硬盘上的图片或者输入图片网址，即可自动帮你搜索相似图片，搜索准确度相对来说还比较令人满意。TinEye是加拿大Idée公司研发的相似图片搜索引擎，TinEye主要用途有：1、发现图片的来源与相关信息；2、研究追踪图片信息在互联网的传播；3、找到高分辨率版本的图片；4、找到有你照片的网页；5、看看这张图片有哪些不同版本。

         2）、http://shitu.baidu.com 
         百度正式上线了其最新的搜索功能——“识图”（shitu.baidu.com）。该功能是百度基于相似图片识别技术，让用户通过上传本地图片或者输入图片的URL地址之后，百度再根据图像特征进行分析，进而从互联网中搜索出与此相似的图片资源及信息内容。但需要注意的是，用户上传本地图片时，图片的文件要小于5M，格式可为JPG、JPEG、GIF、PNG、BMP等图片文件。

         3）、http://www.gazopa.com/ 
         GazoPa搜索图片时，不依据关键词进行检索，而是通过图片自身的某些特征（例如色彩，形状等信 息）来进行搜索。GazoPa搜索方式有四种：

         第一种是传统的通过关键词搜索图片，但在传统图片搜索领域GazoPa与google等搜索引擎无法竞争。

         第二种是创新的通过图片搜索图片，但在此领域GazoPa无法与TinEye相竞争。TinEye很容易就能搜索出与原图最接近的一些结果，而GazoPa很多时候的搜索结果则完全无法与原图匹配。

         第三种是通过手绘图片搜索图片，这种方式其实没太大用处。GazoPa虽然有这样那样的不足之处，但也算是一个很有独创性的搜索引擎。GazoPa目前还处在内测阶段，想要加入测试的可以在官网上留下你的邮箱地址，收到邀请后你就可以测试使用了。

        第四种是通过视频缩略图搜索视频，GazoPa仅凭一张视频缩略图就可找到相关视频。只要有截图，就可以找到截图的视频！

        4）、http://similar-images.googlelabs.com/ 
       Google实验室的图片搜索：输入一个关键词后，例如“lake”，返回的页面里面点击某个图片的下面的Similar images，运用Google 类似图片搜索功能引擎，即刻为你把类似的图片全部搜索出来，展示给用户以便查看。其准确率、相似率相对比较高。

        5）、http://www.picitup.com/ 
        Picitup是一个刚开始公测的专业图片搜索引擎，功能非常强大，并支持中文关键字的搜索，是国内图片爱好者的不错选择。Picitup主要支持关键字的搜索，但在它的特色搜索项目——名人匹配搜索（Celebritymatchup）中，你可以通过上传本地照片来进行搜索，不过结果一般让人失望。Picitup可以通过在搜索结果页选择过滤方式来筛选图片，比如可以按颜色、头像（人脸）、风景、产品四种类别来过滤搜索结果。

       Picitup最大特点是提供相似图片搜索，即通过关键字找到初始图片，点击初始图片下面的similar pictures按钮，即可搜索与该张图片类似的图片。其实质和Google实验室类似图片搜索是一样的。

       6）、http://www.tiltomo.com/ 
       Tiltomo是由 Flickr 开发的一个搜索工具，主要用来维护Flickr 自己的图片数据库，其搜索算法主要是基于相似的主题风格或相似的色调和材质。

       7）、http://cn.bing.com/ 
        Live.com允许你进行一次关键字搜索后再执行相似性的搜索。你可以为Live索引中的任意一张图片寻找相似的图片，但搜索结果看起来并不是很精确。

       8）、http://www.xcavator.net 
       Xcavator 和Live.com很相似，你需要先输入一个关键字，然后在搜索结果中挑选一张图片，在根据这张图片的特点来进行搜索。

       9）、http://www.incogna.com
       Incogna的搜索速度非常快，主要是基于色彩和形状上的相似性。

      10）、http://www.terragalleria.com
       Terragalleria主要基于视觉上的相似性，而不考虑图片的内容。

       11）、http://labs.ideeinc.com/upload/
        Byo image search是根据你上传的图片来搜索相似的图片，算法主要是基于色彩，也包括主题风。

       12）、搜狗图片搜索：http://image.sogou.com/         

作者：kezunhai 出处：http://blog.youkuaiyun.com/kezunhai 欢迎转载或分享，但请务必声明文章出处。