【算法】双鱼眼图像and视频拼接细节说明

原创

已于 2024-02-27 11:06:57 修改 · 9.6k 阅读

69 ·

CC 4.0 BY-SA版权

文章标签：

#vr #图像处理

于 2023-10-18 15:33:51 首次发布

本文围绕双鱼眼全景图像拼接展开，介绍了工业界拍摄360度全景图像的两种做法，阐述了双鱼眼图像拼接涉及的初阶和高阶知识。给出了将两张鱼眼图像拼接成矩形映射全景图的解决方案，包括算法模块拆解和后期优化方向，还提及调试参数、代码风格等内容，并提供源码。

是什么:
大家都知道VR,能够看到360度全景图像,即每帧图像记录了360度的景色。而工业界是怎样拍摄这样的图像的呢?目前博主了解的主要有两种做法:

A.使用多个正常摄像头,每个摄像头拍摄固定角度的图像,然后再拼接,博主2年前曾看过海康威视的由8个摄像头组成的全景拍摄器材
B.使用两个视角>=180度的鱼眼摄像头,再拼接

相机来源	优点	缺点
正常摄像头	畸变较少,矫正拼接时效果好	贵
双鱼眼摄像头	便宜,安装简单,目前米家/三星 Gear360都已很成熟	拼接还是有瑕疵

能学习的知识::
初阶:
双鱼眼图像拼接能考察非常全面的图像处理知识,在目前深度学习火的时候,掌握以前的图像处理知识还是很有帮助的。概括的知识点:

图像成像原理(世界坐标点到

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

热血小蚂蚁

关注关注

16
点赞
踩
69

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

双鱼眼全景图像拼接

三家马车的轮子的博客

01-06

6479

代码URL:https://mianbaoduo.com/o/bread/mbd-YZyZlJY= 是什么: 大家都知道VR,能够看到360度全景图像,即每帧图像记录了360度的景色。而工业界是怎样拍摄这样的图像的呢?目前博主了解的主要有两种做法: A.使用多个正常摄像头,每个摄像头拍摄固定角度的图像,然后再拼接,博主2年前曾看过海康威视的由8个摄像头组成的全景拍摄器材 B.使用两个视角>...

基于环视鱼眼相机的全景拼接

qq_43820692的博客

01-16

2444

对于USB摄像头无需使用gst,gst是针对csi摄像头的，因此直接调用cap读取即可。本文主要记录基于环视鱼眼相机的全景拼接过程中遇到的问题及其解决思路。1、针对多个鱼眼相机连接问题。

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

优快云-Ada助手 2023.10.19
哇, 你的文章质量真不错，值得学习！不过这么高质量的文章, 还值得进一步提升, 以下的改进点你可以参考下: (1)提升标题与正文的相关性。

双鱼眼全景视频实时拼接

09-04

双鱼眼全景视频，实时拼接工具，有鱼眼模式，平面模式，VR模式，按Tab键切换 https://github.com/llxxhm/FisheyePlayer-for-VS2019.git

【图像处理基石】什么是全景视觉？

热门推荐

wd1603926823的专栏

10-01

1万+

之前运行OpenCV官方示例的cpp时看到stitching.cpp拼接融合还不错然后我在MATLAB上用之前编的经纬映射法校正三幅鱼眼图像后不知道该怎样保存下校正好的图如果save或者save as 那么会有figure的白色边缘不能用来拼接所以我直接截图保存为jpg 这样就没有白色边缘了：校正后的：然后把这三幅MATLAB运行出来的结果传递

【算法】双鱼眼拼接制作360度VR取景器/dual fisheye to equirectangular

hard_level的博客

09-08

3238

第二步: 绝大多数情况下，overlap区间的图像不是完全对齐的, 如果使用阈值将两张图的overlap直接叠加，会使得拼接处有重影。在这里我们假设两张图像的边缘位置存在overlap, 然后我们需要在overlap中找到两张图的对齐变换关系，使得他们在overlap区间图像能够完全重合。第二步：我们采用球面透射投影, 我们首先定义了球面上的点的极坐标，然后计算了这些点的笛卡尔坐并使用球面透射投影的数学公式计算了投影点的坐标。目的: 将上面的两个图像合并成一个无缝的整体的过程。2.1 算法模块拆解。

【项目END】基于双鱼眼的全景视频图像拼接CV算法实战

hard_level的博客

12-13

4313

在当今科技的飞速发展中，相机技术的创新一直是引领潮流的先锋。而在这股潮流中，双鱼眼相机以其独特的视角和广阔的应用前景引起了广泛关注。本博客将带领大家深入探讨双鱼眼相机拼接技术，解锁一种全新的视觉体验。视觉全景：双鱼眼相机能够捕捉到超广角的视野，使得拍摄的画面更加丰富、更具冲击力。同时双鱼眼只需要两个相机就能捕捉全景图像是成本最低的全景取景器。应用广泛：从虚拟现实到安防监控，从全景摄影到机器视觉，双鱼眼相机的应用场景越来越广泛。

双鱼眼全景展开拼接

攻城狮的物联网基地

07-27

8644

第一步：从视频或图像中扣出鱼眼图所在的圆第二步：把两个鱼眼图分别按左视图和右视图的方式展开第三步：把两个展开后的图像叠加拼接在一起第四步：融合，使拼接处平滑拼接效果如下 Android实时视频拼接和录制:https://download.youkuaiyun.com/download/llxxhm/10990212 Windows实时视频拼接和播放：https://downl...

【亲测免费】探索全景之美：fisheyeStitcher——双鱼眼镜头图像拼接利器

gitblog_00013的博客

06-02

1382

探索全景之美：fisheyeStitcher——双鱼眼镜头图像拼接利器项目简介 fisheyeStitcher 是一个专为处理由双鱼眼摄像头产生的图像而设计的开源项目。它支持像三星Gear360-C200（195度视野）这样的设备，可以将两幅鱼眼镜头拍摄的图像无缝拼接成一幅360度全景图。通过这个项目，你可以轻松地将你的360度全景照片或视频制作得更加专业。项目技术分析该项目基于C++开发...

鱼眼图像全景拼接

guerrillax的专栏

01-08

1万+

在之前矩形图像拼接的基础上，做了鱼眼镜头的拼接。相比矩形图像，鱼眼图像拼接需要进一步考虑图像畸变系数，同时可以省略对镜头焦距的估计。总的参数个数为3*n+3，n为图像数目，下面简要贴下实验结果。1、鼓型drum1 drum2 drum3drum4结果： 2、圆鱼眼circle1circle2

鱼眼拼接实验

weixin_30378623的博客

08-04

587

原始鱼眼图像（两幅各180°鱼眼图像）：校正后效果：拼接后图像：存在的问题： 1、可以看到拼接图像接缝处上面的灯，还出现多余的部分 2、还有一些黑点需要处理 3、矫正的算法还需要再研究转载于:https://www.cnblogs.com/taotaoland/p/5737720.html...

360环视摄像头鱼眼四摄像头拼接算法

09-10

用于鱼眼摄像头的一个环视参考文档很不错，自己最开始做这个相关的项目就是参考这个文档，发现写的很是不错，非常值得参考特别有用的，哈哈哈哈哈哈哈哈哈哈

鱼眼图像矫正及拼接实现

09-21

该文档详细介绍鱼眼图像的矫正与拼接，可以作为相关研究人员的参考。

双鱼眼全景视频拼接 for android

03-02

1. 安装app后, 默认会拼接程序内的一张双鱼眼图 2. sphere.dat和test.mp4这两个文件放到手机存储的根目录, 再次打开程序可实时拼接双鱼眼视频 3. 拼接界面长按屏,会录制拼接好的视频在根目录,文件名:sphere.mp4 4. windows版本下载: https://download.youkuaiyun.com/download/llxxhm/10801864

双鱼眼全景拼接与播放

10-29

双鱼眼实时全景视频拼接并播放，按Tab键切换模式，包括普通模式，拼接模式，全景漫游模式；本工具运行环境Windows X64，可以打开当前文件夹下的鱼眼视频测试 https://github.com/llxxhm/FisheyePlayer-for-VS2019.git

hard_level的博客

08-18

2138

图像最新SOTA特征点检测与匹配算法

鱼眼全景矫正 Equirectangular Projection的两种方法【补丁For 双鱼眼全景视频拼接】

hard_level的博客

08-18

1082

我们统一采用opencv remap来加速, 在初始状态建立好remap需要的x坐标对应图和y坐标对应图。只要宽高不变, 每次矫正不耗时。等距投影 by FOV and Angle。等距投影by FOV.方法二将在不久并入到。

全景环视拼接，四路鱼眼摄像头，有个大概样子了

weixin_51182176的博客

11-30

5562

用四路鱼眼摄像头去拼接全景环视图像，首先要用对相机进行标定，因为是鱼眼相机，用的函数应该是cv2.fisheye.initUndistortRectifyMap，再remap，不能用一般相机的标定函数，接着用cv2.getPerspectiveTransform，cv2.warpPerspective进行透视变换，进行拼接，现在是有点样子了，但代码启动时间很长，感觉计算量比较大，不知道有没有什么降低计算量的办法，效果如下图。左图是拼接的，右图是手机拍摄的作为对比。