Deep Learning of Binary Hash Codes for Fast Image Retrieval

最新推荐文章于 2023-07-26 07:49:31 发布
原创 最新推荐文章于 2023-07-26 07:49:31 发布 · 1.9k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #hash

本文介绍了台湾中研院在CVPR2015年发表的研究，探讨如何使用深度学习生成二进制哈希码以实现快速图像检索。研究中，作者在CNN网络的第7层后加入全连接层，模仿LSH，以二进制串形式表示图像特征。通过分类任务损失进行微调，并提出层次搜索策略，先基于语义信息检索，再利用中层特征细化候选集。实验在MNIST、CIFAR-10和Yahoo-1M数据集上进行，展示了方法的有效性。

Deep Learning of Binary Hash Codes for Fast Image Retrieval

论文下载地址
这是一篇台湾中研院发表在CVPR2015年的文章。
之前deep hash，一般来说，网络根据图像的label，输入一个二元组或者三元组，利用CNN网络提取出图像的特征，根据相同的label应该具备比较接近的海明距离作为网络的优化目标，然后提出一种新的目标函数，采用优化策略使函数能够求导，利用BP算法，得到最优解。本篇paper主要有以下几点贡献：

  1. 在第7层后加入了一个全连接层，类似于LSH的作用，得到了二进制串。
  2. 训练采用分类任务的loss进行finetune。
  3. 检索的过程采用了层次的搜索。

Method


结构图
图 1 主要结构

整个过程主要有以下三部分：

  • 在大规模的数据集进行pre-training
  • 加入Latent layer，利用分类的loss进行fine tune
  • 图像搜索过程中，采用hierarchy deep search

最近研究发现，输入的图像经过网络 F6−8 得到的信息在图像分类，检索中有很大作用。但是这些信息又是高维（上千维）的特征，这些特征直接用于检索，将会非常耗时。直观的想法就是把这些有效的特征用来压缩变成二进制特征，来进行计算海明距离。所以，作者修改了网络结构，在 F7 和 F8 之间加入了全连接层，fine-tune的过程中，随机初始化latent layer进行训练。

在检索的过程中，浅层学习了图像的局部特征，深层学习了语义信息。作者提出了一个粗粒度到细粒度的检索策略，首先检索语义信息，得到相似的候选集，然后再从候选集中利用mid-level进行检测。

给定图片 I ，首先作者利用latent layer得到的输出作为图像的信息，记作Out(H)。latent layer总共有h个节点，会得到h个值。通过设定阈值对输出进行二值化：

Hj={1,Outj(H)>0.50,otherwise

假定图像集为 Γ={I1,I2,I3,......,In} ，n是待检索图像的数目。每幅图像得到一个长度为h的二进制码 Hi∈{0,1}h ，得到二进制码的集合 ΓH={H1,H2,H3,......,Hn} 。给定查询图像 Iq ，首先根据海明距离，取小于指定阈值的二进制码，得到包含m个元素的候选集 P={Ic1,Ic2,Ic3,......,Icn} 。

得到候选集以后，作者从第7层的输出，和候选集图像的第7层输出特征，进行计算欧式距离，然后选取最小的K个特征。

Experiment

作者分别在Mnist，CIFAR-10， Yahoo-1M数据集上进行实验。

MNIST

mnist数据集总共10类，修改网络 F8 为10-way 的softmax预测分类结果。作者加入了latent layer，为了进行比较，分别设置latent节点个数为48和128，使用SGD方法进行训练。learning rate 0.001，5000次迭代。
结果如下所示：


表格1
这里写图片描述

CIFAR-10

同样把 F8 改为10-way的softmax，latent layer节点的数目设置为48和128。
实验结果如下所示：


这里写图片描述
这里写图片描述

Yahoo-1M

数据集图像总共116类，最后分类层神经元数目设定为116。latent layer节点的数目设定为128。
作者分别测试了不同网络和网络层得到的特征进行比较：

  • ALexNet pre-training F7得到的特征
  • Ours-ES 作者网络F7得到的特征
  • Ours-BCS 作者网络latent-layer 得到的二进制特征
  • Ours-HDS 融合作者网络的F7 和latent layer的特征

    这里写图片描述

References

Kevin Lin†, Huei-Fang Yang†, Jen-Hao Hsiao‡, Chu-Song Chen
Deep Learning of Binary Hash Codes for Fast Image Retrieval cvpr 15

图像检索系列一：Deep Learning of Binary Hash Codes for Fast Image Retrieval
眼观
11-23 1万+
这篇文章的想法很巧妙，在一个深层CNN的最后一个全连接层（fc8）和倒数第二个全连接层（fc7）之间加了一层全连接隐层，就是图一中绿色的latent layer （H）。这样一来，既可以得到深层的CNN特征，文中主要用的是fc7的特征，还可以得到二分的哈希编码，即来自H。这个隐层H不仅是对fc7的一个特征概括，而且是一个连接CNN网络的中层特征与高层特征的桥梁。
论文阅读理解 - Deep Learning of Binary Hash Codes for Fast Image Retrieval
长风破浪会有时，直挂云帆济沧海
08-10 3038
Deep Learning of Binary Hash Codes for Fast Image Retrieval [Paper] [Code-Caffe] 1. 摘要 针对图像检索问题，提出简单有效的监督学习框架 CNN网络结构能同时学习图像特征表示以及 hash-like 编码函数集合 利用深度学习以逐点(point-wise)的方式，得到二值哈希编码(binary has...
Deep Learning of Binary Hash Codes for Fast Image Retrieval 代码编译
AemikaChow
04-07 3060
2015年CVPR上的一篇文章，具体内容还没有细看，等细看了感觉有需要的话再另外做paper的笔记。 毕竟刚配好了caffe， 决定先把代码扒下来运行运行。 文献应该很容易搜到，各大高校的数据库应该都有的，万一实在要是没有，私我我给你发过去（代码下载的地址： https://github.com/kevinlin311tw/caffe-cvprw15）。 首先就碰到了一个大坑..
CVPR 论文阅读与翻译2：图像检索、哈希编码学习、深度哈希：Deep Learning of Binary Hash Codes for Fast Image Retrieval-2015
weixin_41605888的博客
04-14 4552
Deep Learning of Binary Hash Codes for Fast Image Retrieval-2015 用于快速图像检索的深度学习二进制哈希码 本文记录博主CVPR阅读心得，如理解有误，请及时指正交流。THANKS! 相关链接 论文解读 论文动机 论文主要贡献 具体研究方案 论文实验 论文翻译 相关链接： 论文连接：https://www.ii...
Deep Learning of Binary Hash Codes for Fast Image Retrieval_CVPR2015代码运行与思考
lipandeng1453的博客
04-13 676
文章参考：１，https://blog.youkuaiyun.com/u013087984/article/details/52023671                 ２，https://blog.youkuaiyun.com/u012871045/article/details/78839813作者个人网址：https://sites.google.com/site/kevinlin311tw/源代码：https...
Deep Learning of Binary Hash Codes for Fast Image Retrieval（代码跑通了）
持之以恒
07-22 320
deephash:项目地址 (pytorch14) liuyitao@gpu3:~/XIAN_AI/xuda/deephash/pytorch_deephash-master$ python train.py Files already downloaded and verified Files already downloaded and verified Use device: cuda:0 Epoch: 1 Training: 100%|███████████████████████████████
图像检索系统《Deep Learning of Binary Hash Codes for Fast Image Retrieval》
南极企鹅
08-04 1452
引言总结2015年CVPR论文《Deep Learning of Binary Hash Codes for Fast Image Retrieval》，论文主要内容是利用卷积神经网络(CNN)来构建图像相似度检测的深度学习方法。主要思想是讲卷积神经网络来提取图像特征，并将特征转化为二值量，根据二值向量来计算图像的相似度。传统方法图像检索的基础便是提取图像的特征信息，提取的特征信息越丰富，在进行检索
Deep Learning of Binary Hash Codes for Fast Image Retrieval_CVPR2015
walden的博客
12-19 2276
‎被引用次数：126 作者个人网址：https://sites.google.com/site/kevinlin311tw/ 源代码：https://github.com/kevinlin311tw/caffe-cvprw15 AlexNet网址：https://github.com/BVLC/caffe/blob/master/models/bvlc_alexnet/train_val
Deep Learning of Binary Hash Codes for Fast Image Retrieval（2015）
持之以恒
03-11 154
基于pytorch框架实现 https://github.com/flyingpot/pytorch_deephash 知乎上面解读 https://zhuanlan.zhihu.com/p/23891866
人工智能术语翻译（三）
AI浩
07-26 4160
人工智能术语翻译第三部分，包括I、J、K、L开头的词汇！
Tensorflow(7):RNN,LSTM,GRU,Auto-Encoder,VAE
JJJJJJames的博客
01-30 888
1、时间序列表示方法 sequence embedding [b,seq_len,feature_len] b:句子数量 seq_len:单词数量 feature_len 单词特征 [b,28,28] 从sequence角度理解，把每一个图片当作28个时间序列的输入，每个输入有28个特征。共有b个图片。 每个单词对应的三个波形，每个波形在每个时刻对应一个word vector，每个时刻代表当前输入的word。 how to represent a word one-hot encoding 问
深度学习与计算机视觉(11)_基于deep learning的快速图像检索系统
热门推荐
寒小阳
03-11 5万+
本系统是基于CVPR2015的论文《Deep Learning of Binary Hash Codes for Fast Image Retrieval》实现的海量数据下的基于内容图片检索系统，250w图片下，对于给定图片，检索top 1000相似时间约为1s，其基本背景和原理会在下文提到。 2.基本问题与技术 大家都知道，基于内容的图像检索系统是根据图像的内容，在已有图像集中找到最『相近』的图片。而这类系统的
Image Retrieval
hpb21的专栏
12-05 7180
Papers Learning High-level Image Representation for Image Retrieval via Multi-Task DNN using Clickthrough Data arxiv: http://arxiv.org/abs/1312.4740paper: http://legacy.openreview.net/document
大规模图像检索的利器Deep——哈希算法介绍
lala_01的博客
09-22 2万+
来自36大数据（36dsj.com) 前言 在最近邻搜索(nearest neighbor search)问题中，给定一个查询(query)，目标是要找到空间中离它最近的点。这里所说的空间可以是任意的空间，比如特征空间，或者语义空间。具体来说，在图像检索这个问题中，每张图像对应空间中的一个点，而所谓的“近”既可以是外观上的近(看着像)，也可以是语义上的近(同类)。以下图为例，当我把左侧的
图像检索相关论文
YiLiang
03-07 8154
图像检索相关论文
图像检索入门：CVPR2015《Deep Learning of Binary Hash Codes for Fast Image Retrieval》
M_Z_G_Y的博客
09-20 2872
原文代码：https://github.com/kevinlin311tw/caffe-cvprw15 研究背景       在基于内容的图像检索（CBIR）中，使用深度学习的最为简单的方式是使用神经网络特征层的输出用于计算空间距离来判断相似度，但这样会导致浮点型数据储存消耗和维度灾难。 实际策略是使用近似最近邻（ANN）技术或基于Hash的方法来进行加速。这些方法将高维特征投影到较低维度空...
Deep Hashing for Compact Binary Codes Learning里的公式推导过程
06-09
"Deep Hashing for Compact Binary Codes Learning" 是一篇关于深度哈希学习的论文。该论文提出了一种用于学习紧凑二进制码的深度哈希算法。以下是该论文中深度哈希算法的公式推导过程： 1. 首先，给定一个训练集 $\{x_i\}_{i=1}^n$ 和它们的标签 $\{y_i\}_{i=1}^n$，其中 $x_i$ 是输入数据，$y_i$ 是输出标签。 2. 然后，利用神经网络学习一个将输入数据映射到二进制码的哈希函数 $h(x_i)$，其中 $h(x_i)$ 是一个 $k$ 位的二进制向量，$k$ 是哈希码的长度。 3. 在深度哈希学习中，我们使用多个哈希函数来生成多个二进制码。因此，我们学习 $m$ 个哈希函数，每个哈希函数对应一个二进制码 $B_j$。 4. 对于每个输入数据 $x_i$，我们得到 $m$ 个哈希码 $B_j^i$，其中 $j=1,2,...,m$。 5. 然后，我们将这些哈希码组合成一个紧凑的二进制码 $b_i$，即 $b_i = [B_1^i, B_2^i, ..., B_m^i]$。 6. 确定损失函数，使得学习到的二进制码可以最大程度地保留数据之间的相似度。 7. 定义损失函数 $L$，其中 $L$ 由两部分组成：量化损失和分类损失。 8. 量化损失用于衡量哈希码的质量，分类损失用于保留数据之间的相似度。 9. 量化损失可以表示为：$L_{quan} = \sum_{i=1}^n\sum_{j=1}^m\frac{1}{2}(B_j^i - h_j(x_i))^2$，其中 $h_j(x_i)$ 是第 $j$ 个哈希函数的输出。 10. 分类损失可以表示为：$L_{cls} = -\sum_{i=1}^n\sum_{j=1}^n w_{ij}y_iy_j\log\sigma(b_i^Tb_j)$，其中 $w_{ij}$ 是样本 $i$ 和 $j$ 之间的相似度权重，$\sigma$ 是 sigmoid 函数。 11. 最终的损失函数可以表示为：$L = \lambda L_{quan} + L_{cls}$，其中 $\lambda$ 是量化损失的权重。 12. 在训练过程中，我们使用反向传播算法来优化损失函数，学习到最优的哈希函数和二进制码。 这就是 "Deep Hashing for Compact Binary Codes Learning" 论文中深度哈希算法的公式推导过程。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值