Python计算机视觉——基于BOW的图像检索学习

1. Bow原理

最初的Bag of words，也叫做“词袋”。Bag of words模型是信息检索领域常见的文档表示方法。在信息检索中，假设一个文本，忽视它的词序和语法等要素，将其仅仅看作是一个词集合，文本中每个词的出现都是独立的。然后根据文本中的词频分布，构造文本描述子。

「Bag of Words」 是文本分类中一种通俗易懂的策略。一般来讲，如果我们要了解一段文本的主要内容，最行之有效的策略是抓取文本中的关键词，根据关键词出现的频率确定这段文本的中心思想。
比如：如果一则新闻中经常出现「iraq」、「terrorists」，那么，我们可以认为这则新闻应该跟伊拉克的恐怖主义有关。而如果一则新闻中出现较多的关键词是「soviet」、「cuba」，我们又可以猜测这则新闻是关于冷战的（见下图）。

2. 将Bag of words模型应用到图像检索中

Bag of feature 算法

首先我们要找到图像中的关键词，而且这些关键词必须具备较高的区分度。实际过程中，通常会采用SIFT特征。
特征提取：

特征聚类：
提取完特征后，我们会采用一些聚类算法对这些特征向量进行聚类。最常用的聚类算法是 k-means。至于 k-means 中的 k 如何取，要根据具体情况来确定。另外，由于特征的数量可能非常庞大，这个聚类的过程也会非常漫长。
聚类完成后，我们就得到了这 k 个向量组成的视觉词典。

转化直方图：
上一步训练得到的字典，是为了这一步对图像特征进行量化。对于一幅图像而言，我们可以提取出大量的SIFT特征点，但这些特征点仍然缺乏代表性。因此，这一步的目标，是根据字典重新提取图像的高层特征。
具体做法是，对于图像中的每一个SIFT特征，都可以在字典中找到一个最相似的 ，这样，我们可以统计一个 k 维的直方图，代表该图像的SIFT特征在字典中的相似度频率。

3.实验步骤：

1. 构造不小于100张图片的数据集
2. 针对数据集做SIFT特征提取
3. 根据SIFT特征提取结果，采用K-means算法学习视觉字典
4. 根据IDF原理，计算每个视觉单词的权
5. 针对数据库中的每张图片的特征集，根据视觉词典进行量化，以及TF-IDF解算。每张图片转化为特征向量
6. 对于输入的检索图像（非数据库图片），计算SIFT特征，并根据TF－IDF转化为频率直方图／特征向量
7. 构造检索图像特征到数据库图像的倒排表，快速索引相关候选匹配图像

4.代码解析

1.生成词汇
用SIFT算法提取特征描述子，然后保存词汇。Vocabulary类包含了一个由单词聚类中心VOC与每个单词对应的逆向文档频率构成的向量，为了在某些图像集上训练词汇，train（）方法获取包含有.sift后缀的描述子文件列表和词汇单词数k。例如：在本代码中，含有1000个单词的词汇表，在K-means聚类阶段训练数据，聚成指定的10类。

# -*- coding: utf-8 -*-

import pickle

from PCV.imagesearch import vocabulary, imagesearch

from PCV.tools.imtools import get_imlist

from PCV.localdescriptors import sift

from sqlite3 import dbapi2 as sqlite

# 获取图像列表

download_path = "C://Users//Garfield//Desktop//pic//testdata//"  # set this to the path where you downloaded the panoramio images

imlist = get_imlist(download_path)

nbr_images = len(imlist)

featname = ['out_sift_1.txt' for imna in imlist]
for i, imna in enumerate(imlist):
    sift.process_image(imna, featname[i])

voc = vocabulary.Vocabulary('ukbenchtest')

voc.train(featname, 1000, 10)

# 保存词汇

# saving vocab