Deep Image Homography Estimation

最新推荐文章于 2024-02-20 16:22:32 发布
转载 最新推荐文章于 2024-02-20 16:22:32 发布 · 351 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/Robin_Cruise/article/details/101543099

本文介绍了一种名为DeepImageHomographyEstimation的深度学习算法，用于图像同构估计。该算法包括回归模型和分类模型，使用SGD训练，通过MS-COCO数据集进行测试，能在NVIDIA Titan X GPU上达到300fps的运行效率。

文献：Deep Image Homography Estimation，下载地址

输入：128x128x2

Padding：'SAME'

池化步长：2

回归模型（HomographyNet-Regression）：

conv1 3x3 : 128x128x64

conv2 3x3 : 128x128x64

maxpooling1 2x2: 64x64x64

 

conv3 3x3 : 64x64x64

conv4 3x3 : 64x64x64

maxpooling2 2x2: 32x32x64

 

conv5 3x3 : 32x32x128

conv6 3x3 : 32x32x128

maxpooling3 2x2: 16x16x128

 

conv7 3x3 : 16x16x128

conv8 3x3 : 16x16x128

 

fully connect1: 1024x1

fully connect2: 8x1

 

loss function:

 \frac{1}{2}*\left \| p\left ( x \right ) -q\left ( x \right )\right \|^2

 

分类模型（HomographyNet-Classification）：

conv1 3x3 : 128x128x64

conv2 3x3 : 128x128x64

maxpooling1 2x2: 64x64x64

 

conv3 3x3 : 64x64x64

conv4 3x3 : 64x64x64

maxpooling2 2x2: 32x32x64

 

conv5 3x3 : 32x32x128

conv6 3x3 : 32x32x128

maxpooling3 2x2: 16x16x128

 

conv7 3x3 : 16x16x128

conv8 3x3 : 16x16x128

 

fully connect1: 1024x1

fully connect2: 8x21

softmax

 

loss function:

-\sum p\left ( x \right )log\left ( q\left ( x \right ) \right )

 

训练方式：SGD(随机梯度下降法) ，momentum =  0.9

训练数据制作：

https://i-blog.csdnimg.cn/blog_migrate/4ea5b33ce2a81e5fc71d79f3d62df2bb.png

训练标签:

\left [ \Delta u1,\Delta v1,\Delta u2,\Delta v2,\Delta u3,\Delta v3,\Delta u4,\Delta v4 \right ],与放射矩阵H一一对应

训练设置：conv8与fully connect1需要添加dropout=0.5

测试数据集：MS-COCO

运行效率：NVIDIA Titan X GPU， 300fps

CVAIDL
关注
【图像拼接/深度单应】论文精读：Deep Image Homography Estimation（HomographyNet）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-09 3976
我们提出了一个深度卷积神经网络来估计一对图像之间的相对单应性。我们的前馈网络有 10 层，将两个堆叠的灰度图像作为输入，并产生 8 个自由度单应性，可用于将第一个图像中的像素映射到第二个图像。我们为 HomographyNet 提出了两种卷积神经网络架构：一个直接估计实值单应性参数的回归网络，以及一个在量化单应性上产生分布的分类网络。我们使用 4 点单应性参数化，它将一张图像的四个角映射到第二张图像。我们的网络使用扭曲的 MS-COCO 图像以端到端的方式进行训练。我们的方法无需单独的局部特征检测和变换估计
Deep Homography Estimation - Pytorch实现
weixin_43917574的博客
03-24 2467
Deep Image Homography Estimation - Pytorch实现
【Homography Estimation】《Deep Image Homography Estimation》
bryant_meng
07-20 1118
arXiv-2016。
文章《Deep Image Homography Estimation》
CVAIDL的博客
04-28 895
之前自己也在思考如何利用神经网络实现图像的配准，没思考出什么结果来。大部分的深度学习中使用的是单幅图像进行训练，如果输入的是变形图像和参考图像，其实可以借鉴图像匹配的网络，但是还是不清楚具体如何进行。甚至开始怀疑配准的意义，既然都有一幅ground truth了，为什么不直接使用而需要将另外一幅进行配准。最后这个问题后来想通了：配准指的是形态配准到一致，但在异源图像的融合中，还需要两幅图像之...
ISP图像对齐笔记（二）：Deep Image Homography Estimation
mikhailbran的博客
12-12 1334
图像对齐、深度学习
论文阅读笔记|Deep Image Homography Estimation
weixin_43917574的博客
03-24 3804
基于卷积神经网络强大的特征提取能力，本文构造了一个VGG风格的回归网络，可以从两幅图像中直接学习单应性变换的参数，在合成数据集上取得了比ORB更好的效果。
阅读笔记（arXiv2016）Deep Image Homography Estimation
小秋在路上~
03-21 2368
深度图像单应性估计 摘要 我们提出了一个深度卷积神经网络来估计一对图像之间的单应性矩阵。我们的前馈网络有10层，将两个堆叠的灰度图像作为输入，并生成8个自由度单应矩阵，可用于将像素从第一个图像映射到第二个图像。我们为HomographyNet提出了两种卷积神经网络架构：一种直接估计实值单应性参数的回归网络，以及产生量化单应性分布的分类网络。我们使用4点单应性参数化将四个角点从一个图像映射...
DeepHomography:内容感知无监督深度单应估计
04-30
内容感知无监督深层单应估计 在许多应用中，单应估计是一种基本的图像对齐方法。 通常是通过提取和匹配稀疏特征点来完成的，这些稀疏特征点在低光照和低纹理图像中容易出错。 另一方面，先前的深层单应性方法要么将合成图像用于监督学习，要么将航拍图像用于无监督学习，但都忽略了在实际应用中处理深度差异和移动对象的重要性。 为了克服这些问题，在这项工作中，我们提出了一种具有新架构设计的无监督深层单应性方法。 本着传统方法中RANSAC程序的精神，我们专门学习了一种离群值遮罩，仅选择可靠的区域进行单应性估计。 我们根据学习到的深度特征来计算损失，而不是像以前那样直接比较图像内容。 为了实现无监督培训，我们还为网络定制了一种新颖的三重态损耗。 我们通过对一个新的数据集进行全面比较来验证我们的方法，该数据集涵盖了任务难度各不相同的各种场景。 实验结果表明，我们的方法优于包括深度解决方案和基于特征的解决方案在内的
jetson-inference：Hello AI World指南，介绍如何使用TensorRT和NVIDIA Jetson部署深度学习推理网络和深度视觉原语
02-03
部署深度学习 欢迎使用我们的NVIDIA 推理和实时库指导手册。 此使用NVIDIA 将神经网络有效地部署到嵌入式Jetson平台上，通过图形优化，内核融合和FP16 / INT8精度提高了性能和能效。 视力原语，如图像识别， 物体检测，并用于语义分割，继承从共享对象。 提供了一些示例，用于从实时摄影机供稿进行流式处理并处理图像。 有关C ++和Python库的详细参考文档，请参见部分。 遵循教程，在Jetson上运行推理和转移学习，包括收集自己的数据集和训练自己的模型。 它涵盖了图像分类，对象检测和分割。 目录 >回购中现在支持Jetson 和JetPack 4.4.1。 >试试新的对象检测教程！ >有关最新更新和新功能，请参阅。 你好AI世界 Hello AI World可以在Jetson上完全运行，包括使用TensorRT进行推理和使用PyTorch进行学习。 Hello AI World的推理部分-包括为Python或C ++编写自己的图像分类和对象检测应用程序代码，以及实时相机演示-可以在您的Jetson上运行大约两小时或更短的时间，而迁移学习最好离开过夜。 系统设置
matlabransac代码-Image-Stitching:Matlab代码
05-25
matlab ransac代码图像拼接 该matlab代码中使用的技术包括： 矩形照片的圆柱投影 特征点提取 特征点描述 特征匹配 随机牺牲共识（RANSAC） 图像针脚 混合-消除了拼接两个图像时产生的视觉伪影
matlab全景图拼接代码-Parallax-Tolerant-Image-Stitching:从真实图像中检测CG图像的深度学习项目
06-02
matlab全景图代码基于鲁棒弹性变形的视差图像拼接代码 图像拼接旨在以最低的计算成本生成高质量的全景图。一种基于鲁棒弹性变形的视差图像拼接方法，可以同时实现精确对齐和高效处理。给定图像之间的一组点匹配，解析变形构造函数以消除视差误差。 然后根据网格图像平面上计算的变形对输入图像进行扭曲。 无缝全景是通过直接重新投影扭曲的图像组成的。 技术：MATLAB、深度学习 完成时间：2017 年 5 月
Deep Image Homography Estimation 个人解读
ajing2014的专栏
01-03 7703
本篇博文主要讲解2016年发表在 Computer Visionand Pattern Recognition上的一篇文章Deep Image Homography Estimation文章地址，该文章主要讲述了使用ConvNet来实现对Homography的估计，作者来自于Magic Leap，一家做AR的公司，大家可能对这个名字不是很熟悉，但是相信该链接中的视频确实引起一阵AR的浪潮。
Deep Image Homography Estimation（基于深度学习的图像单应性估计）
有才的博客
10-16 2585
我们的前馈网络有10层，以两张堆叠的灰度图像作为输入，并产生8个自由度的同形图，可用于将像素从第一张图像映射到第二张图像。我们为HomographyNet提出了两种卷积神经网络结构:一种是直接估计实值同质参数的回归网络，另一种是产生量子化同质分布的分类网络。我们使用一个4点单应性参数化，将一个图像的四个角映射到第二个图像。我们的网络以端到端方式使用扭曲的MS-COCO图像进行训练。我们的方法不需要单独的局部特征检测和转换估计阶段。
《Deep Image Homography Estimation》文献阅读
ha_lee的博客
05-09 514
提出了一种深度卷积神经网络，用于估计一对图像之间的相对单应性。我们的前馈网络有10层，以两个叠加的灰度图像作为输入，并产生一个8自由度单应，可用于将像素从第一个图像映射到第二个图像。我们提出了HomographyNet的两种卷积神经网络结构：一种是直接估计实值单应性参数的回归网络，另一种是产生量化单应性分布的分类网络。我们使用4点单应参数化，将一幅图像的四个角映射到第二幅图像。我们的网络使用扭曲的MS-COCO图像进行端到端的训练。我们的方法不需要单独的局部特征检测和变换估计阶段。
Deep Image Homography Estimation理解
Robin_Cruise的博客
09-27 1203
文献：Deep Image Homography Estimation，下载地址 输入：128x128x2 Padding：'SAME' 池化步长：2 回归模型（HomographyNet-Regression）： conv1 3x3 : 128x128x64 conv2 3x3 : 128x128x64 maxpooling1 2x2: 64x64x64 conv3 3x3...
阅读笔记（Neurocomputing2021）Image stitching via deep homography estimation
小秋在路上~
02-20 315
图像拼接是一个被广泛研究的问题，在许多领域有着广泛的应用。传统的基于特征的方法在很大程度上依赖于手工特征的精确定位甚至分布，并且可能在一些困难的情况下失败。虽然有强大的基于深度学习的单应性估计或语义对齐方法，但它们的精度对于图像拼接问题来说不够高。在本文中，我们提出了一个深度神经网络，它可以足够准确地估计单应性，以实现小视差图像的图像拼接。我们网络的关键组件是具有逐渐增加的分辨率和以混合方式构建的匹配成本量的特征图。这两种设计都说明是有助于性能的提高。我们还提出了一个新的拼接定向损失函数，考虑到图像内容。
深度学习图像对齐
最新发布
03-31
### 深度学习中的图像对齐技术 #### 背景介绍 图像对齐是许多计算机视觉任务的基础，尤其是在多模态数据处理中显得尤为重要。通过深度学习的方法实现图像对齐可以显著提高精度和效率[^2]。 #### 主要挑战 在实际应用中，图像对齐面临多个困难点，这些难点主要来源于图像本身的特点以及场景复杂性。例如弱纹理、无纹理区域使得特征提取变得困难；低光照条件下的图像可能受到噪声影响，进一步降低对齐质量；而重复纹理则可能导致错误的特征匹配。此外，在某些情况下，前景物体可能会遮挡背景结构，或者由于视角差异过大而导致传统几何模型失效[^3]。 #### 基于深度学习的技术方法概述 ##### 特征提取阶段 利用卷积神经网络(CNNs)可以从原始像素级别自动抽取高层次语义信息作为描述符用于后续步骤。这种方法相比手工设计特征具有更强表达能力和泛化能力。 ##### 典型算法分析 - Deep Image Homography Estimation (DIHE) - **发布时间**: 2016年 - **核心思想**: DIHE 提出了端到端框架来估计两张图片之间的单应矩阵(Homography Matrix)，该过程完全由CNN完成而不依赖任何显式的特征点检测与匹配操作。具体来说，输入一对重叠部分已知但位置未知的两幅图给定大小裁剪窗口之后送入训练好的全连接层输出最终参数向量表示对应关系。 ```python import tensorflow as tf def homography_model(input_shape=(128, 128, 2)): model = tf.keras.Sequential([ tf.keras.layers.Conv2D(64, kernel_size=3, activation='relu', input_shape=input_shape), tf.keras.layers.MaxPooling2D(pool_size=(2, 2)), tf.keras.layers.Conv2D(128, kernel_size=3, activation='relu'), tf.keras.layers.MaxPooling2D(pool_size=(2, 2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(512, activation='relu'), tf.keras.layers.Dense(8) # Output layer for the parameters of a planar homography matrix. ]) return model ``` - 这种方式不仅简化流程而且提高了鲁棒性和速度表现良好特别是在小范围位移情况之下。 #### 总结 虽然目前已有不少优秀的研究成果问世但仍有许多方面值得探索改进比如如何更好地应对极端条件下（如极度模糊不清的照片）或是跨域适应等问题都需要未来继续深入研究解决[^1]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值