立体匹配文献阅读笔记（二）《Spatial-Depth Super Resolution for Range Images》07年

最新推荐文章于 2023-12-12 16:53:49 发布
原创 最新推荐文章于 2023-12-12 16:53:49 发布 · 963 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了高质量纹理图像在增强原始距离图中的重要作用，并介绍了立体匹配中的核心概念——视差空间图（DSI）。此外，对比了高斯滤波与双边滤波在处理图像时的不同效果，强调了双边滤波作为边缘保持滤波方法的优势。

一、A registered high-quality texture image can provide significant information to enhance the raw range map.

二、立体匹配中cost volume的意思就是DSI，即视差空间图。

三、高斯滤波对图像所有区域都“同等对待”，模糊了纹理的同时也模糊了边缘。而双边滤波却不是这样，它不仅考虑到了像素之间的位置关系，还考虑到了像素之间的颜色差异，这样就使得双边滤波是一种“边缘保持（Edge-Preserving）”的滤波方法，仅对非边缘区域进行较大程度的模糊，针对边缘由于考虑到了像素之间的颜色的差异，和边缘颜色相近的像素能够得到较大的权值，和边缘颜色不相似的像素只能够获得较小的权值。

算法流程图
这里写图片描述

a12322a
关注
Audio Bit Depth Super-Resolution with Neural Networks
凌逆战的博客
09-10 889
Audio Bit Depth Super-Resolution with Neural Networks 作者：Thomas Liu、Taylor Lundy、William Qi 摘要 Audio Bit Depth Super-Resolution是一个尚未通过深度学习的视角来研究的问题，目前使用的有效方法很少。在本文中，我们提出了一种基于WavaNet结构来实现低分辨...
Depth super resolution 论文及代码汇总，持续更新中~~
不忘初心~
03-14 1564
depth super resolution
Stereo Matching文献笔记之（七）：《Spatial-Depth Super Resolution for Range Images》读后感~
love模式识别
09-30 6747
这篇博客主要介绍一下自己对立体匹配文献《Spatial-Depth Super Resolution for Range Images》一文的理解，本文是杨庆雄的又一篇经典文章，发表于CVPR2007，引用次数颇高。再加上，当时在是《Stereo Matching Using Tree Filtering》看到的引用，十分好奇，所以拿来说说自己的分析，与大家分享。 1. 相关概念
立体匹配导论
weixin_34082789的博客
05-29 440
转载请注明出处：http://blog.youkuaiyun.com/wangyaninglm/article/details/51531333， 来自： shiter编写程序的艺术 2.1 视差理论 计算机立体视觉系统通过模仿人类的的视觉系统，根据对同一场景从不同位置拍摄的两视角或多视角图像，采用几何方法可以计算出深度信息。本文主要...
立体匹配综合论文集
07-31
立体匹配综合论文集，包含立体匹配领域的各类经典论文合集
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Frustum PointNets for 3D Object Detection from RGB-D Data 原文 + 阅读笔记
friwang的博客
07-30 1308
Abstract In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and inva...
CVPR2020｜图像重建(超分辨率，图像恢复，去雨，去雾，去模糊，去噪等)相关论文汇总（附论文链接/开源代码/解析）【持续更新】
Kobaayyy的博客
06-17 1万+
CVPR2020-图像重建相关论文整理1. PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models参考 1. PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models 论文：https://arxiv.org/abs/2003.03808 代码：https://gi
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【论文阅读笔记】mask r-cnn代码和论文结合阅读
flora
11-28 2611
mask r-cnn代码运行数据集跑train_net.py出现问题及解决方法 代码运行 demo:https://github.com/facebookresearch/maskrcnn-benchmark 我首先想把train跑通，所以我们要看的是github的Perform training on COCO dataset的步骤 数据集 这一部分就是在maskrcnn-benchmark ...
立体匹配文献阅读笔记（一）《A non-local cost aggregation method for stereo matching》12年
a12322a的博客
03-12 587
一、The most efficient local cost aggregation method is unnormalized box filtering which runs in linear time (relative to the number of image pixels) using integral image but blurs across depth edges. E
【PCL自学：Range Images】深度图与点云数据的转换及其应用(持续更新)
斯坦福的兔子的博客
02-26 1万+
PCL 深度图一、什么是深度图二、点云转深度图 PointCloud->Range Image三、利用深度提提取点云边缘 一、什么是深度图   目前深度图像的获取方法有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等等，针对深度图像的研究重点主要集中在以下几个方面，深度图像的分割技术 ，深度图像的边缘检测技术 ，基于不同视点的多幅深度图像的配准技术，基于深度数据的三维重建技术，基于三维深度图像的三维目标识别技术，深度图像的多分辨率建模和几何压缩技术等等，在PCL 中深度图像
PCL学习五：Range Images-距离图像
qq_42994487的博客
05-05 1645
PCL学习五：Range Images-距离图像
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
Range_Image深度图-1 PCL学习记录-9 Range_Image深度图原理，以及如何通过点云生成深度图
HarwardWu的博客
01-11 3588
一.深度图简介 目前深度图像的获取方法有激光雷达深度成像法，计算机立体视觉成像，坐标测量机法，莫尔条纹法，结构光法等等，针对深度图像的研究重点主要集中在以下几个方面， 深度图像的分割技术 深度图像的边缘检测技术 基于不同视点的多幅深度图像的配准技术 基于深度数据的三维重建技术 基于三维深度图像的三维目标识别技术 深度图像的多分辨率建模和几何压缩技术等等 在PCL 中深度图像与点云最主要的区别在于其近邻的检索方式的不同，并且可以互相转换。 深度图像（Depth Images）也被称为距离影像.
如何通过球面投影(Spherical Projection)将点云转换为距离图像(Range Images)
AI人工智能的海洋
12-12 2145
将3维激光点云通过球面投影（Spherical Projection）转换为2维距离图像（Range Images），是自动驾驶应用场景中一种非常常见的点云处理方式。点云转换为距离图像后，通常会被输入给一个2维卷积神经网络去实现目标检测、语义分割等任务。目前采用这种点云处理方式的典型目标检测算法有RangeDet，语义分割算法有SqueezeSeg、RangeNet++、SalsaNext等。
双目立体匹配入门【一】（理论）
凳子花❀的博客
02-22 2万+
参考文章： 1.双目视觉简介 2.学习笔记-双目立体视觉简介 3.立体匹配算法原理与应用-奥比中光 4.双目立体匹配-江佩视觉 建议刚入门的先观看参考资料3，讲的很详细，也通俗易懂，本文也主要是依照该课程做的笔记，但额外补充了一些东西。参考资料4的视频讲的很简单，但是有很多概括性的东西，内容我基本都总结进本文里面了。 版权声明：本文只用作学习用途，如有侵权，请联系。 ***注：***本文内容只是总结了网上一些学习资料，如有疑问，请讨论指正。 1 专有名词 双目立体视觉：Binocular Stereo Vi
（三十二 ：2021.01.12）MICCAI 2017 追踪之论文纲要
Jojo论文基地
01-11 2883
讲在前面 PART I、PART II和PART III。 论文目录 PART I Atlas and Surface-Based Techniques（地图集和基于表面的技术） 概要 1.The Active Atlas: Combining 3D Anatomical Models with Texture Detectors有效地图集：将3D解剖模型与纹理探测器相结合 2.Exploring Gyral Patterns of Infant Cortical Folding Ba
07深度图像
别动我u盘-的博客
05-11 464
深度图像什么是深度图像？从一个点云创建一个深度图像从深度图像中提取边界点云到深度图的变换与曲面重建 什么是深度图像？ 深度图像（Depth Images），也被称为距离影像（Range Images），是指将图像采集器采集到的场景中各点的距离（深度）值作为像素值的图像，它直接反映了景物可见表面的几何形状，利用它可以很方便地解决3D目标描述中的许多问题。 从一个点云创建一个深度图像 首先引入深度图像的头文件。 #include <pcl/range_image/range_image.h> //
STAR: Spatial-Temporal Augmentation with Text-to-Video Models for Real-World Video Super-Resolution
最新发布
08-09
### STAR论文解读与技术实现 STAR（Spatial-Temporal Augmentation with Text-to-Video Models）是一种针对真实世界视频超分辨率（Video Super-Resolution, VSR）问题的创新方法。该方法通过结合文本到视频（Text-to-Video, T2V）模型，解决了视频超分辨率中常见的时空一致性问题，同时显著提升了视频的视觉质量。 在真实世界视频处理中，由于摄像设备的限制、环境噪声、运动模糊等因素，视频的分辨率通常较低，且帧间存在较大的变化。传统方法往往难以在保持视频时空一致性的同时提升视频的细节质量。STAR通过引入文本到视频模型，利用其强大的生成能力来增强视频的局部细节，并通过动态频率损失（DF Loss）来优化视频的频率成分分布，从而实现更优的视频超分辨率效果。 #### 方法 STAR的核心创新包括局部信息增强模块（Local Information Enhancement Module, LIEM）和动态频率损失（Dynamic Frequency Loss, DF Loss）。LIEM模块通过在全局注意力机制之前引入局部细节增强机制，提升了视频的纹理质量和细节恢复能力。具体而言，LIEM模块利用文本到视频模型的扩散机制，在视频超分辨率过程中引入额外的上下文信息，从而增强视频的局部特征表达[^1]。 DF Loss则是一种基于频率成分的损失函数，旨在引导模型在不同的扩散步骤中关注不同的频率成分。这种设计使得模型能够在处理视频时，更加灵活地调整不同频率下的特征增强策略，从而提高视频的清晰度和时空一致性[^1]。 #### 实验与结果 STAR在多个合成和真实世界视频数据集上进行了广泛的实验，结果表明该方法在视频质量和时空一致性方面均优于现有的最佳方法。特别是在处理具有复杂运动和多尺度变化的真实世界视频时，STAR表现出显著的优势。实验还表明，结合文本到视频模型的时空增强策略，能够在不依赖大量标注数据的情况下，实现高质量的视频超分辨率[^1]。 #### 技术实现示例 STAR的实现涉及多个深度学习组件，包括文本到视频模型、局部信息增强模块以及动态频率损失的设计。以下是一个简化的代码框架，展示了如何构建一个基于扩散模型的视频超分辨率系统： ```python import torch from diffusers import TextToVideoPipeline class STARModel: def __init__(self, model_name="stabilityai/stable-video-diffusion"): self.pipeline = TextToVideoPipeline.from_pretrained(model_name) self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu") self.pipeline.to(self.device) def enhance_local_details(self, video_frames): # 在全局注意力之前应用局部信息增强模块 enhanced_frames = [] for frame in video_frames: # 模拟局部增强操作 enhanced_frame = frame + torch.randn_like(frame) * 0.1 # 添加轻微噪声以模拟增强 enhanced_frames.append(enhanced_frame) return torch.stack(enhanced_frames) def dynamic_frequency_loss(self, generated_video, target_video): # 计算频率域损失 freq_loss = torch.mean((torch.fft.fft2(generated_video) - torch.fft.fft2(target_video)) ** 2) return freq_loss def super_resolve(self, text_prompt, num_frames=8, resolution=(256, 256)): # 生成初始视频 video = self.pipeline(text_prompt, num_frames=num_frames, output_type="pt").frames video = self.enhance_local_details(video) return video # 示例使用 star = STARModel() resolved_video = star.super_resolve("A high-resolution video of a city skyline at sunset") print(resolved_video.shape) # 输出视频的形状 ``` 上述代码提供了一个简化的STAR模型实现框架，包含文本到视频生成、局部信息增强以及频率损失计算的基本流程。实际应用中，需要根据具体任务需求调整模型结构和训练策略。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值