Building hash code for Image Retrieve

引言

最近在入门关于图像检索这个研究方向，做一点笔记。
为了使图像编码的保存占用更小的内存空间和以及缩短检索时的运算时间，图像检索一个关键问题是为每一张图像构建哈希码，使得在检索的时候利用图像对应的哈希码进行检索。

两步构建图像哈希码

Supervised Hashing for Image Retrieval via Image Representation Learning

引用的第一篇文章，方法是使用有监督的训练数据训练神经网络模型，并由此得到可以编码图像信息的图像编码器和哈希函数。主要步骤包括两个：

生成大概的哈希码

这一部分并没有用到机器学习或者深度学习的方法，个人认为这也是这篇文章的一个有争议的地方。
在这一部分，作者使用矩阵分解的方法构建每一张图像的初始哈希码，具体的做法是先构造一个图矩阵S，矩阵中的每一个元素代表两张图片的相似性，1代表相似，-1代表不相似。然后通过矩阵分解的方法$S=H{H}^T$，其中H中的每一行就代表对应图片的哈希码。

CNNH+

使用CNN的方法进行图片特征的生成，然后在训练的时候包括两个损失函数：

1. 构建哈希函数，利用生成的图片特征得到图片哈希码，然后和上一步的图片哈希码做对比，哈希码对应上图的红色点
2. 将图片的类别信息作为label来为不同类别的图片进行分类，图片的类别对应上图的黑色点

利用这两个损失函数联合训练图像编码器和哈希函数。

一步构建图像哈希码

Simultaneous Feature Learning and Hash Coding with Deep Neural Networks

使用triple loss的方法作为衡量图片与图片之间的相似性，利用一个共享参数的基于CNN架构的模型来得到一个图片元组中每张图片的特征表示，然后通过divide-encode的方法为图片中每一个像素点的特征构造一个哈希值，最后通过piece wise的划分方法构造图片的哈希码。

这一方法的优点在于使得模型生成的哈希码可训练，同时triplet loss的方法适用于无监督的训练数据。