PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization

最新推荐文章于 2025-03-21 20:24:19 发布
最新推荐文章于 2025-03-21 20:24:19 发布
阅读量2k 收藏 5
点赞数
分类专栏： CV deep learning paper
博客介绍训练的神经网络，可从单张图像端到端回归相机位置和姿态，无需额外工程操作或图优化。室外精度达2m、3°，室内达0.5m、5°偏差。利用迁移学习，自动生成训练标签，避免传统SLAM流程，还探讨了损失函数和网络结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://zhuanlan.zhihu.com/p/53044278

https://zhuanlan.zhihu.com/p/45483149

abstract: 训练了一个神经网络可以从单张图像端到端的回归出相机的位置和姿态，有别于SLAM，不再需要额外的工程操作或者图优化。室外精度达到2m，3°。室内精度达到0.5m，5°偏差。网络是23层，利用transfer learning from recognition to re-localization 在目标分类的网络上pre-train的模型。比依赖sift关键点提取，匹配的方法更robust。

Contribution:

1）利用transfer learning 任务从目标识别，迁移到re-localization。

  1. 利用structure from motion根据图像序列/视频，自动生成训练label（camera pose），减少了人类标注的工作。

3）避免传统SLAM的pipeline: 比如需要存储densely spaced keyframes, appearance-based localization, landmarked-based pose estimation, frame-to-frame feature correspondence.

Loss function:

在这里插入图片描述
作者实验发现把位置和姿态分成两个网络进行训练的效果并不好，猜测是位置和姿态的耦合关系，所以还是要放在一起训练。

网络结构：

GoogLeNet pre-trained for classification 改造成regression问题。

  1. replace the three softmax classfiers with affine regressors.

  2. 在最终输出层之前插入了一个全连接层，before the regressor.用来当作local feature vector.

一个比较有趣的应用就是你在指定区域拍张照后, 然后得到google map里街景的一个结果
http://mi.eng.cam.ac.uk/projects/relocalisation/#results

PoseNet - A Convolutional Network for Real-Time 6-DOF Camera Relocalization 端到端的重定位系统
Chen_Xieyuanli的博客
12-26 5448
本博客仅为作者记笔记之用，不对之处，望见谅，欢迎批评指正。 更多相关博客请查阅：http://blog.youkuaiyun.com/weixin_39779106 如需转载，请附上本文链接：http://blog.youkuaiyun.com/weixin_39779106/article/details/78907337 PoseNet - A Convolutional Network for Real-
PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization论文阅读
qq_26391203的博客
05-03 1641
相关论文：Kendall A, Grimes M, Cipolla R. Convolutional networks for real-time 6-DOF camera relocalization[J]. Education for Information, 2015, 31:125-141.论文地址：https://arxiv.org/pdf/1505.07427.pdfJ. Shotto...
PoseNet运行详细过程
热门推荐
xuzhongxiong的博客
01-15 2万+
PoseNet是剑桥大学的Alex Kendall提出的利用深度学习进行视觉定位，其目的是通过输入一张彩色图像判断相机的位置以及姿态，定位精度比GPS高，且能够知道相机的姿态，而且只需要5ms就可定位成功。原文章可以参照：PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization。 这篇博客是将作者的网络与数
6D-VNet:End-to-End 6DoF Vehicle Pose Estimation from Monocular RGB Images
WangKingJ的博客
12-29 1620
Abstract   我们提出了一个概念上简单的6DoF姿态估计网络，尤其是对于自动驾驶场景。在一个单目RGB图像上，我们的方法能够有效的检测交通工具，同时回归它们的三维平移和旋转向量。这个方法叫做6D-VNet，在Mask R-CNN上扩展了一个定制的投网络，以用于检测更好的车辆类比，旋转和平移。与以往的方法相比，本文提出的6D-VNet是端到端训练的。此外，我们表明，在联合损失中包括平移回归对...
6D位姿估计 论文及代码汇总，持续更新~~~
不忘初心~
09-14 6540
6DoF Pose Estimation 论文及代码汇总，持续更新~~~
PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization 2015论文笔记
phy12321的博客
04-21 1712
2015年的文章，对比的baseline是基于手工特征的方法，相比之下更为鲁棒。输入为单张ＲＧＢ图像，模型可端到端训练。室外精度： 2m and 3◦，室内0.5m and 5◦。速度一帧5ms。PoseNet由23层的卷积层构成。
PoseNet复现记录以及思考（PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization）
最新发布
whisper1215的博客
03-21 1270
采用迁移学习（transfer learning）的方式，使用预训练模型作为起点，然后在自己的数据集上进行微调。预训练模型已经在大规模数据（例如 ImageNet）上学到了丰富的特征，这能加速收敛和提高模型性能。训练过程中，虽然模型的主体（如 ResNet-34 的特征提取部分）是预训练得到的，但最后添加的全连接层和损失函数都是在自己的数据集上训练的，从而让模型适应具体任务。
PoseNet：A Convolutional_networks_for_real-time_6-DOF_camera
05-11
相机重定位的开篇之作，机器视觉
Python-利用Tensorflowjs实现浏览器中的姿势检测PoseNet模型
08-11
利用Tensorflow.js实现浏览器中的姿势检测：PoseNet模型
Python-MultiPoseNet使用姿态残差网络进行快速多人姿态估计
08-11
Code for the Pose Residual Network introduced in 'MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network (ECCV 2018)' paper
Camera Relocalization by Computing Pairwise Relative Poses Using Convolutional Neural Network
肥羊汤
05-14 1026
利用卷积神经网络计算成对相对姿态的相机重定位（解读）（原论文） 摘要 文中提出的基于深度学习的相机重定位方法。通过使用卷积神经网络（CNN）来定位给定的查询图像，用于首先检索类似的数据库图像，然后预测查询与其姿势已知的数据库图像之间的相对姿势。查询图像的摄像机位置是通过使用基于RANSAC的方法的两个相对平移估计的三角测量获得的。每个相对姿势估计提供相机方向的假设，并且它们在第二RANSAC方...
real-time RGB-D camera relocalization
十年磨一剑
04-18 388
每个fern 能产生n位的编码, 每位的编码通过比较 像素的某一属性与threshold的大小来确定, 大于等于即为1, 小于即为0, 见公式(1), 这里每个fern为4位, 分别对R,G,B,D通道进行检测 m个fern, 即可以随机选择m个像素点 然后用T_F来记录帧对应于该fern的编码 表示在m个fern中, 帧I和帧J在qIJ中编码一致, 那么它们的不相似度则可以通过公式(3)来算 ...
PoseNet: 基于Caffe的实时6-DOF相机重定位实现
gitblog_00833的博客
11-14 508
PoseNet: 基于Caffe的实时6-DOF相机重定位实现 项目基础介绍和主要编程语言 PoseNet是一个基于Caffe框架的修改版本，专门用于实现实时6-DOF（六自由度）相机重定位。该项目主要使用C++作为核心编程语言，同时也涉及Python、Cuda、CMake、Protocol Buffer和MATLAB等多种编程语言和技术。 项目核心功能 PoseNet的核心功能是通过卷积神经网络...
NNnet: Camera Relocalization by Computing Pairwise Relative Poses Using CNN，2017论文
phy12321的博客
02-17 1369
芬兰阿尔托大学，印度德里工业技术学院，相机重定位 第一个使用相对位姿信息进行相机视觉重定位的方法。感觉论文中的inlier count的方法与候选投票的思想有点神似，当然这应该也是图像检索领域经常用到的思想。本文核心的贡献在于：模型中使用的是相对位姿，学习到的参数在场景之间可通用的可传递的，最后通过pipeline计算得到绝对位姿。因此训练出的模型可以泛化到unseen的场景中，而不需要提前在...
【论文笔记 视觉重定位 Relative Geometry-Aware Siamese Neural Networkfor 6DOF Camera Relocalization 2019
phy12321的博客
08-15 667
英国诺丁汉大学 本文设计了一个孪生神经网络，其以图像对为输入，网络的每一支各输出一个绝对位姿估计，以及共同预测一个相对位姿。除了常见的绝对位姿损失函数之外，作者还设计了三个基于相对位姿数据的损失函数项。 网络的两支时共享权重特征的。在测试时，选择网络的任意一支对图像进行位姿估计即可 可以看出网络的backbone式ResNet50，输出的特征图分别被GPRU和RPRU模块作为输入。 GPRU：global pose regression unit 一个1024的全连接层，然后接了两个3和4 的全连接层.
PoseNet：实时6-DOF相机重定位的卷积网络
这项技术的核心在于利用深度学习的方法，特别是卷积神经网络（Convolutional Neural Network, CNN），实现实时的相机位置和方向的精确估计，即6-DOF（俯仰、翻滚、偏航以及三个平移轴）的再定位。 传统的相机再定位...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值