Deep Learning of Binary Hash Codes for Fast Image Retrieval（代码跑通了）

最新推荐文章于 2024-08-08 08:03:04 发布
最新推荐文章于 2024-08-08 08:03:04 发布
阅读量270 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： pytorch学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46815330/article/details/118998518
使用PyTorch进行深度学习模型训练，经过20个epoch，损失(loss)逐渐降低，模型在训练集和验证集上的表现不断提升。最终在验证集上达到较高的平均精度(mAP)，表明模型对于图像分类任务有较好的学习效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

deephash:项目地址
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

(pytorch14) liuyitao@gpu3:~/XIAN_AI/xuda/deephash/pytorch_deephash-master$ python train.py
Files already downloaded and verified
Files already downloaded and verified
Use device: cuda:0

Epoch: 1
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:13<00:00,  3.32it/s, loss=0.6362
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.58it/s, loss=0.6217

Epoch: 2
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.30it/s, loss=0.5231
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.60it/s, loss=0.3469

Epoch: 3
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.31it/s, loss=0.3108
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.61it/s, loss=0.5042

Epoch: 4
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.28it/s, loss=0.4512
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.58it/s, loss=0.2753

Epoch: 5
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:11<00:00,  3.32it/s, loss=0.2083
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.59it/s, loss=0.2827

Epoch: 6
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.30it/s, loss=0.3162
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.56it/s, loss=0.3616

Epoch: 7
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.31it/s, loss=0.2319
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.56it/s, loss=0.2556

Epoch: 8
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.30it/s, loss=0.2609
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.48it/s, loss=0.3236

Epoch: 9
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.30it/s, loss=0.3572
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.59it/s, loss=0.2844

Epoch: 10
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.31it/s, loss=0.1309
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.58it/s, loss=0.2122

Epoch: 11
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:13<00:00,  3.28it/s, loss=0.2543
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.61it/s, loss=0.2831

Epoch: 12
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:11<00:00,  3.32it/s, loss=0.2090
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.59it/s, loss=0.3498

Epoch: 13
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.32it/s, loss=0.3207
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.61it/s, loss=0.1783

Epoch: 14
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.30it/s, loss=0.2262
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.61it/s, loss=0.2317

Epoch: 15
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.32it/s, loss=0.1671
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.58it/s, loss=0.3421

Epoch: 16
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:11<00:00,  3.32it/s, loss=0.2480
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.60it/s, loss=0.3196

Epoch: 17
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:11<00:00,  3.31it/s, loss=0.1268
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.60it/s, loss=0.3054

Epoch: 18
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.32it/s, loss=0.2221
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.59it/s, loss=0.3146

Epoch: 19
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.31it/s, loss=0.2045
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.60it/s, loss=0.4702

Epoch: 20
Training: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [02:12<00:00,  3.32it/s, loss=0.1803
Testing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:21<00:00,  4.59it/s, loss=0.3141
Saving


Last login: Thu Jul 22 04:37:16 2021 from 192.168.0.100
liuyitao@gpu3:~$ cd XIAN_AI/
liuyitao@gpu3:~/XIAN_AI$ cd xuda 
liuyitao@gpu3:~/XIAN_AI/xuda$ cd deephash/
liuyitao@gpu3:~/XIAN_AI/xuda/deephash$ cd pytorch_deephash-master/
liuyitao@gpu3:~/XIAN_AI/xuda/deephash/pytorch_deephash-master$ source ~/.bashrc
(base) liuyitao@gpu3:~/XIAN_AI/xuda/deephash/pytorch_deephash-master$ conda activate pytorch14
(pytorch14) liuyitao@gpu3:~/XIAN_AI/xuda/deephash/pytorch_deephash-master$ python evaluate.py --pretrained 91.43
Files already downloaded and verified
Files already downloaded and verified
Use device: cuda:0
Use device: cuda:0
Query: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 1000/1000 [00:24<00:00, 40.43it/s, Average Precision=0.99172]
precision at k: [0.88859    0.890195   0.891215   0.89211167 0.89279375 0.893172  ]
precision within Hamming radius 2: 0.8368459338192588
mAP: 0.8841768181060734
Total query time: 24.981330633163452
Deep Learning of Binary Hash Codes for Fast Image Retrieval
南有乔木NTU的博客
11-02 1930
Deep Learning of Binary Hash Codes for Fast Image Retrieval论文下载地址 这是一篇台湾中研院发表在CVPR2015年的文章。 之前deep hash，一般来说，网络根据图像的label，输入一个二元组或者三元组，利用CNN网络提取出图像的特征，根据相同的label应该具备比较接近的海明距离作为网络的优化目标，然后提出一种新的目标函数，采用
Deep Learning of Binary Hash Codes for Fast Image Retrieval阅读总结
RealCoder的博客
02-18 322
《Deep Learning of Binary Hash Codes for Fast Image Retrieval》 摘要 提出了一个有效的架构产生快速图像检索的二进制哈希索引码 在有标签情况下，在CNN基础上使用隐藏层表示主导标签的潜在概念来学习二进制哈希码 相比于其他监督方法使用pair-wised的输入，我们的技术基于point-wised 我们的方案相比于state-of-art表现出色 1.引言 灵感1——CNN: Krizhevsky等人使用CNN第7层的输出作为特征向量进行图像检索
论文阅读理解 - Deep Learning of Binary Hash Codes for Fast Image Retrieval
长风破浪会有时，直挂云帆济沧海
08-10 3007
Deep Learning of Binary Hash Codes for Fast Image Retrieval [Paper] [Code-Caffe] 1. 摘要 针对图像检索问题，提出简单有效的监督学习框架 CNN网络结构能同时学习图像特征表示以及 hash-like 编码函数集合 利用深度学习以逐点(point-wise)的方式，得到二值哈希编码(binary has...
图像检索系列一：Deep Learning of Binary Hash Codes for Fast Image Retrieval
热门推荐
眼观
11-23 1万+
这篇文章的想法很巧妙，在一个深层CNN的最后一个全连接层（fc8）和倒数第二个全连接层（fc7）之间加了一层全连接隐层，就是图一中绿色的latent layer （H）。这样一来，既可以得到深层的CNN特征，文中主要用的是fc7的特征，还可以得到二分的哈希编码，即来自H。这个隐层H不仅是对fc7的一个特征概括，而且是一个连接CNN网络的中层特征与高层特征的桥梁。
Deep Learning of Binary Hash Codes for Fast Image Retrieval 代码编译
AemikaChow
04-07 3035
2015年CVPR上的一篇文章，具体内容还没有细看，等细看了感觉有需要的话再另外做paper的笔记。 毕竟刚配好了caffe， 决定先把代码扒下来运行运行。 文献应该很容易搜到，各大高校的数据库应该都有的，万一实在要是没有，私我我给你发过去（代码下载的地址： https://github.com/kevinlin311tw/caffe-cvprw15）。 首先就碰到了一个大坑..
Deep Learning of Binary Hash Codes for Fast Image Retrieval_CVPR2015代码运行与思考
lipandeng1453的博客
04-13 661
文章参考：１，https://blog.youkuaiyun.com/u013087984/article/details/52023671                 ２，https://blog.youkuaiyun.com/u012871045/article/details/78839813作者个人网址：https://sites.google.com/site/kevinlin311tw/源代码：https...
图像检索入门：CVPR2015《Deep Learning of Binary Hash Codes for Fast Image Retrieval》
M_Z_G_Y的博客
09-20 2840
原文代码：https://github.com/kevinlin311tw/caffe-cvprw15 研究背景       在基于内容的图像检索（CBIR）中，使用深度学习的最为简单的方式是使用神经网络特征层的输出用于计算空间距离来判断相似度，但这样会导致浮点型数据储存消耗和维度灾难。 实际策略是使用近似最近邻（ANN）技术或基于Hash的方法来进行加速。这些方法将高维特征投影到较低维度空...
DeepHash-pytorch:一些深度哈希算法的实现，包括DPSH，DSH，DHN，HashNet，DSDH，DTSH，DFH，GreedyHash，CSQ
05-01
深哈希火炬 一些Deep Hash算法基线的实现。 怎么跑 我的环境是 python==3.7.0 torchvision==0.5.0 pytorch==1.4.0 您可以轻松地训练和测试任何算法 pyhon DSH.py pyhon DPSH.py pyhon DHN.py pyhon DSDH.py 如果您有任何问题，请随时通过电子邮件（ ）与我联系或提出问题。 精确召回曲线 我在DSH.py中添加了一些代码： if "cifar10-1" == config["dataset"] and epoch > 29: P, R = pr_curve(trn_binary.numpy(), tst_binary.numpy(), trn_label.numpy(), tst_label.numpy()) print(f'Precision
Python-DeepHash深度学习哈希的开源软件包DeepHash
08-09
An Open-Source Package for Deep Learning to Hash (DeepHash)
DeepHash：深度学习哈希的开源程序包（DeepHash）
03-04
深度哈希 DeepHash是一种轻量级的深度学习哈希库，它实现了最新的深度哈希/量化算法。 我们将根据我们发布的持续实施更具代表性的深度哈希模型。 具体来说，我们欢迎其他研究人员根据我们的框架在该工具包中提供深层哈希模型。 我们将宣布对该项目的贡献。 实施的模型包括： DQN：，曹Yue，龙明生，王建民，韩涵，温庆福，AAAI人工智能大会（AAAI），2016 DHN：，韩涵，龙明生，王建民，曹跃，AAAI人工智能大会（AAAI），2016 DVSQ：，曹悦，龙明胜，王建民，刘诗辰，IEEE计算机视觉与模式识别会议（CVPR），2017 DCH： ，曹悦，龙明生，刘斌，王建民，IEEE计算机视觉与模式识别会议（CVPR），2018 DTQ： ，刘斌，曹岳，龙明生，王建民，王敬东，ACM多媒体（ACMMM），2018 注意：DTQ和DCH已更新，而DQN，DHN，DVSQ可能已
DeepHash:深度学习和散列的广泛组件
06-16
深哈希 用于深度学习和散列的基本 Python 模块
python版本的各种hash算法
03-08
python版本的各种hash算法
HashNet: Deep Learning to Hash by Continuation∗
h3214463785的博客
06-23 1664
学习哈希已经被广泛应用于大规模多媒体检索的近似最近邻搜索中，由于其计算效率和检索质量。深度学习哈希通过端到端表示学习和哈希编码来提高检索质量，最近受到越来越多的关注。由于优化具有符号激活功能的深度学习哈希方法存在病态梯度困难，现有方法需要首先学习连续表示，并在分离的二值化步骤中生成二进制哈希代码，这会导致严重降低检索质量。损失函数的设计不合理。在传统的哈希方法中，二进制哈希码通常是通过阈值函数对连续向量进行二值化得到的。
Deep Learning of Binary Hash Codes for Fast Image Retrieval（2015）
持之以恒
03-11 148
基于pytorch框架实现 https://github.com/flyingpot/pytorch_deephash 知乎上面解读 https://zhuanlan.zhihu.com/p/23891866
MTEB 项目使用教程
最新发布
gitblog_00462的博客
08-08 476
MTEB 项目使用教程 1. 项目的目录结构及介绍 MTEB（Massive Text Embedding Benchmark）项目的目录结构如下： mteb/ ├── README.md ├── setup.py ├── mteb/ │ ├── __init__.py │ ├── benchmark.py │ ├── datasets/ │ │ ├── __init__.py...
【论文复现】基于 PaddlePaddle 实现 HashNet
m0_63642362的博客
05-13 732
转自AI Studio，原文链接： 【论文复现】基于 PaddlePaddle 实现 HashNet - 飞桨AI Studio 【论文复现-图像检索】基于 PaddlePaddle 实现 HashNet(ICCV2017) 原论文：HashNet: Deep Learning to Hash by Continuation. 官方原版代码（基于caffe/PyTorch）HashNet. 第三方参考代码（基于PyTorch）DeepHash-pytorch. 本项目G
Deep Hashing for Compact Binary Codes Learning里的公式推导过程
06-09
"Deep Hashing for Compact Binary Codes Learning" 是一篇关于深度哈希学习的论文。该论文提出了一种用于学习紧凑二进制码的深度哈希算法。以下是该论文中深度哈希算法的公式推导过程： 1. 首先，给定一个训练集 $\{x_i\}_{i=1}^n$ 和它们的标签 $\{y_i\}_{i=1}^n$，其中 $x_i$ 是输入数据，$y_i$ 是输出标签。 2. 然后，利用神经网络学习一个将输入数据映射到二进制码的哈希函数 $h(x_i)$，其中 $h(x_i)$ 是一个 $k$ 位的二进制向量，$k$ 是哈希码的长度。 3. 在深度哈希学习中，我们使用多个哈希函数来生成多个二进制码。因此，我们学习 $m$ 个哈希函数，每个哈希函数对应一个二进制码 $B_j$。 4. 对于每个输入数据 $x_i$，我们得到 $m$ 个哈希码 $B_j^i$，其中 $j=1,2,...,m$。 5. 然后，我们将这些哈希码组合成一个紧凑的二进制码 $b_i$，即 $b_i = [B_1^i, B_2^i, ..., B_m^i]$。 6. 确定损失函数，使得学习到的二进制码可以最大程度地保留数据之间的相似度。 7. 定义损失函数 $L$，其中 $L$ 由两部分组成：量化损失和分类损失。 8. 量化损失用于衡量哈希码的质量，分类损失用于保留数据之间的相似度。 9. 量化损失可以表示为：$L_{quan} = \sum_{i=1}^n\sum_{j=1}^m\frac{1}{2}(B_j^i - h_j(x_i))^2$，其中 $h_j(x_i)$ 是第 $j$ 个哈希函数的输出。 10. 分类损失可以表示为：$L_{cls} = -\sum_{i=1}^n\sum_{j=1}^n w_{ij}y_iy_j\log\sigma(b_i^Tb_j)$，其中 $w_{ij}$ 是样本 $i$ 和 $j$ 之间的相似度权重，$\sigma$ 是 sigmoid 函数。 11. 最终的损失函数可以表示为：$L = \lambda L_{quan} + L_{cls}$，其中 $\lambda$ 是量化损失的权重。 12. 在训练过程中，我们使用反向传播算法来优化损失函数，学习到最优的哈希函数和二进制码。 这就是 "Deep Hashing for Compact Binary Codes Learning" 论文中深度哈希算法的公式推导过程。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值