Learning to Compare Image Patches via Convolutional Neural Networks

最新推荐文章于 2022-11-18 17:29:39 发布
原创 最新推荐文章于 2022-11-18 17:29:39 发布 · 816 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉

本文探讨了在图像块匹配任务中使用卷积神经网络(CNN)的不同结构，包括孪生神经网络、伪孪生神经网络及双通道神经网络。通过对三种网络结构的对比，发现基于双通道的网络在图像块匹配上的表现最佳，强调了多分辨率信息的重要性。

Paper : Learning to Compare Image Patches via Convolutional Neural Networks
Code :

摘要

个人认为，本文在孪生神经网络上没什么改进点，值得阅读的点是对双通道、孪生神经网络和伪孪生神经网络之间实验效果的比较，但是文章中所提到的在Image Patch Comparison 中引入CNN和SPP Net 感觉不算创新。使用CNN代替传统的人为设计的特征提取方法，例如SIFT或是HOG或是DAISY之类的在2015年基本上都用滥了。

三种网络结构

首先不考虑图像块的大小是任意大小，先假定是固定大小64*64，文中列出了3种神经网络的结构：孪生神经网络，伪孪生神经网络，双通道神经网络。对于三种神经网络，我们将分支的输出连接起来，使用FC层直接输出预测值。孪生与伪孪生两个分支具有相同的层结构，区别在于是否共享每一层的参数，而双通道网络将两灰度图输入看作是一张双通道输入的图。三种神经网络的参数量由小到大。

在这里插入图片描述

三种子网络结构

文中主要使用了三种网络结构构成孪生/伪孪生/双通道的子网络

  • Deep Network：处理计算机视觉的常规深度卷积神经网络
  • SPP Network：详情见blog，处理任意尺寸的输入
    在这里插入图片描述
  • Central-surround two-stream network：包含以下两个独立的数据流，中心和背景，支持对输入在不同的分辨率下对数据进行处理，Central-surround two-stream network与孪生神经网络之间的结合如下所示
    • 中心高分辨率数据流：对 64*64 的输入图片进行中心裁剪到 32*32
    • 背景低分辨率数据流：对 64*64 的输入图片进行降采样
    • 中心-背景双数据流网络更强调位于中心的像素信息，而且多分辨率信息有助于改善图片匹配的表现
      在这里插入图片描述

训练

损失函数如下所示

min ⁡ w λ 2 ∣ ∣ w ∣ ∣ 2 + ∑ max ⁡ ( 0 , 1 − y i o i n e t ) \min_w \frac{\lambda}{2}||w||_2 + \sum \max(0,1-y_io_i^{net}) wmin​2

最低0.47元/天 解锁文章
[论文翻译]测试时数据增强(TTA):Automatic Brain Tumor Segmentation using Convolutional Neural Networks with TTA
程序客栈
03-11 3280
论文下载: 地址 Automatic Brain Tumor Segmentation using Convolutional Neural Networks with Test-Time Augmentation 使用带有TTA的卷积神经网络实现胶质瘤的自动分割 Abstract. Automatic brain tumor segmentation plays an impo...
Cross-scene Crowd Counting via Deep Convolutional Neural Networks2015论文笔记
weixin_43560802的博客
04-15 571
Absrtact 挑战：跨场景人群计数（目标场景无标注）； 提出CNN，由人群密度和人数交替训练； 提出data-driven方法微调CNN模型以适应目标场景； 提出包含108个场景（标注200000人头）的数据集； 1. Introduction 难点：严重遮挡、场景透视形变、不同的人群分布。 利用低水平特征和回归的方法：针对特定场景 我们需要克服以下困难：1）提出高级特征；2）不同场景有不...
《Learning to Compare Image Patches via Convolutional Neural Networks》
wydbyxr的博客
11-27 857
《Learning to Compare Image Patches via Convolutional Neural Networks》   即2-channel networks。关于图像相似度计算的文章，本篇文章对经典的算法Siamese Networks 做了改进。   因为文献基本上是在 Siamese Networks的基础上做修改，然后也要借助于空间金字塔池化实现不同大小图片的输入网...
Learning to Compare Image Patches via Convolutional Neural Networks【论文笔记】
qq_53015609的博客
10-02 1764
我们使用一个包含成对原始图像块的大型数据库（database）作为唯一输入。成对包括匹配的（matching）和未匹配的（non-matching）。使用彩色图像数据集（dataset）和灰色图像数据集都行，使用彩色数据集进行训练能取得更好的效果，但为了和其他方法对比，论文中使用灰色图片数据集进行训练。图片块大小固定为64x64，除了使用SPP结构的模型。SPP后面会介绍。
(keras复现)Learning to Compare Image Patches via Convolutional Neural Networks.rar
01-13
Learning to Compare Image Patches via Convolutional Neural Networks论文的复现代码，这是keras版本，具体怎么做的可以看这篇文章https://blog.youkuaiyun.com/weixin_42521239/article/details/103389033
论文笔记 — Learning to Compare Image Patches via Convolutional Neural Networks
dbsggal90047018的博客
11-16 459
　　论文： 　　引入论文中的一句话来说明对比图像patches的重要性，“Comparing patches across images is probably one of the most fundamental tasks in computer vision and image analysis”. 　　同一个patch在不同图像中，由于光照、视角、阴影、遮挡、相机设置等因...
learning to compare image patches via convolutional neural networks python
05-12
学习利用卷积神经网络在Python中比较图像补丁是一项重要的技能，在计算机视觉领域有着广泛的应用。卷积神经网络（CNN）是一种广泛应用于图像处理和识别的深度学习算法。利用CNN可以使计算机自动地从海量数据中学习...
深度学习（十六）基于2-channel network的图片相似度判别
热门推荐
hjimce的专栏
11-29 7万+
本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章：《Learning to Compare Image Patches via Convolutional Neural Networks》，本篇文章相比于经典的算法Siamese Networks 精度上有比较不错的提高。学习这篇paper的算法，需要熟悉Siamese Networks（经典老文献《Signature Verification Using a Siamese Time Delay Neural Network》）、以及大神何
Learning to Compare Image Patches via Convolutional Neural Networks --- Reading Summary
a1424262219的博客
03-08 195
Learning to Compare Image Patches via Convolutional Neural Networks --- Reading Summary 2017.03.08 Target: this paper attempt to learn a geneal similarity function for comparing image ...
图像好坏挑选训练模型完整项目文件
04-23
该模型是一个简单的模型，封装AlexNEt和Resnet，用来判断图像是否存在异常，比如图像中存在大面积的内容缺失、比如正常图像中有大量的噪声点、比如图像中有其他物体形状进行干扰，该文件用于训练一个模型来判断图像中是否有这样的问题。正常图像放到normal文件夹下，异常图像放到ab文件夹下。这里的代码是训练与测试的圈套代码
【论文笔记】Learning to Compare Image Patches via Convolutional Neural Networks
m0_61899108的博客
01-21 2169
论文 论文题目：Learning to Compare Image Patches via Convolutional Neural Networks 发表于：CVPR2015 论文地址：http://de.arxiv.org/pdf/1504.03641 论文代码：https://github.com/szagoruyko/cvpr15deepcompare Abstract 直接从图像数据（不使用手工设计的特征）学习一个通用的相似函数来比较图像块； 选择一个基于CNN的模型，该
siamese network（暹罗网络）--Learning to Compare Image Patches via Convolutional Neural Networks...
weixin_30855761的博客
09-26 550
2015,cvpr 的一篇文章。 本篇文章对经典的算法SiameseNetworks 做了改进。学习这篇paper的算法，需要熟悉SiameseNetworks（经典老文献《Signature Verification Using a Siamese Time Delay Neural Network》）、以及大神何凯明提出来的空间金字塔池化（2015年CVPR 文献《Spatial Pyr...
读书笔记 Learning to Compare Image Patches via Convolutional Neural Networks
weixin_30237719的博客
10-14 243
无监督学习可以用于获取特征，优于SIFT方法。 神经网络的输入是一对图片。输入彩色图片可以增加网络的训练性能。但是文章全部用的灰度图像。图片size是64*64。 三个基本的神经网络框架：2-channel, Siamese, Pseudo-siamese。 Essentially these architectures stem from thedifferent way that ea...
【论文复现，含代码】Learning to Compare Image Patches via Convolutional Neural Networks
weixin_42521239的博客
12-05 5135
图像匹配问题，历久而弥新。从上个世纪六十年代起，人们开始使用灰度匹配进行匹配，目前，图像匹配的研究重点为图像特征的提取与描述，初始匹配以及精准匹配。目前，深度学习在图像领域正如火如荼，传统的图像匹配问题应该更好的拥抱深度学习。 目前，将深度学习应用在景象匹配方面的论文依然较少，针对为数不多的几篇经典论文，我将尽力去复现这些论文的内容。 这篇博客要复现的是Learning to Compare ...
论文学习——Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches
xxxlinttp的博客
09-18 2431
论文学习——Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches 原始论文地址：https://arxiv.org/abs/1510.05970 代码：https://github.com/jzbontar/mc-cnn 摘要：针对很多立体匹配算法的第一阶段——匹配代价计
【Deep Learning】Review of Stereo Matching by Training a Convolutional Neural Network to Compare Image
qbt4juik的专栏
02-02 2067
Stereo Matching by Training a Convolutional Neural Network to Compare Image Link: http://arxiv.org/abs/1510.05970 Code: https://github.com/jzbontar/mc-cnn ____________________________________
论文笔记 Learning to Compare Image Patches via Convolutional Neural Networks
weixin_30416497的博客
06-14 288
Background 引入论文中的一句话来说明对比图像patches的重要性，“Comparing patches across images is probably one of the most fundamental tasks in computer vision and image analysis”. 同一个patch在不同图像中，由于光照、视角、阴影、遮挡、相机设置...
Bag of Tricks for Image Classification with Convolutional Neural Networks（图像分类神经网络训练技巧）
Orange_sparkle的博客
11-18 1670
该篇文章其实就是各个网络中训练技巧的一个集合。由于之前在图像分类中取得的大部分的进展其实都是由训练过程的改进得到的，比如数据增强和优化方法的改进得到的。但是在提出方法的文章中，我们只能在实验细节或者开源代码中见到，所以该篇文章就将这些训练技巧进行了汇总，并进行实验进行验证评估。实验证明，将这些改进结合起来能够将ResNet-50的准确率由75.3%提升到79.29%，实验还验证了，图像分类精度的提高也能应用在其他领域，带来更好的迁移学习的性能。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值