双边网格学习、Bilateral Learning

bilateral grid(双边网格) 双边网格(bilateral grid)的原理全解析,非常通俗易懂 阅读详情

目录

背景

方法

结论


挖坑,双边网格学习。双边网格具有很多优良的特性,在图像恢复等方面还具有很多的价值可以挖掘,因此本系列我会把相关论文和代码以我的理解写成博客,留做记录,代码运行过程中如果有问题或者发现我也会写到博客里。

背景

双边网格学习有些相似于双边滤波。

双边滤波(Bilateral Filter)是非线性滤波中的一种,结合图像的空间邻近度与像素值相似度。 在滤除噪声、平滑图像的同时,又保存边缘。一个负责计算空间邻近度 的权值,也就是常用的高斯 滤波器原理。而另一个负责 计算像素值相似度的权值。 在两个高斯滤波的同时作用 下,就是双边滤波。

方法

有空细细研究一下代码实现。

双边网格一维主要示意图:

 二维示意图


《Real-time Edge-Aware Image Processing with the Bilateral Grid》是2007年的利用双边网格的一篇传统方法图像处理的文章,文章利用双边网格进行快速的图像中增强,即将细节、曝光较差的图像进行恢复。

《Deep Bilateral Learning for Real-Time Image Enhancement》是2017年的利用双边网格和深度学习的HDR图像实时增强文章,效果不错。

阅读论文《Deep Bilateral Learning for Real-Time Image Enhancement》_CHNguoshiwushuang的博客-优快云博客_enhancement   这是2017 siggraph的一篇论文,寒假boss让我看这篇论文我没怎么看懂。最近在公司实习,发现该论文的成果已经移到手机端上了,效果还非常不错。这里我重新温习了一下这篇论文,发现有许多可以借鉴的地方,是一篇非常不错的论文,这里重新叙述一下,谈谈我的理解。    首先说一下这篇文章的整体思路,这篇文章对于图像增强的方法是,将图像首先做下采样,继续卷积下采样几次然后分别学习其全局特征和局...https://blog.youkuaiyun.com/CHNguoshiwushuang/article/details/81843826?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_antiscanv2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_antiscanv2&utm_relevant_index=2
《Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning》是2021年的去雾文章,该论文为2021cvpr上的一篇去雾文章,主打高清图像快速去。

(最新更新2022.3.24)

双边网格学习一:2021cvpr《Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning》_Alocus_的博客-优快云博客背景方法,据论文所述,在实时性方面达到较好结果。核心采用双边网格,双边网格能够关注色彩突变的物体边界,并能够很好的关注于高频信息上面是该网络的主要架构图,可以看到非常地简洁,实际上,为了简洁而简洁可能有时候会对读者造成一定的误导。如,在该模型中的特征提取部分代码里使用的是Unet网络,图中则画的很简单,另外在RGB图像表示部分也不够清楚,实际上在图像输入之后也会有一个unet进行特征提取,然后对提取后的特征分别进行三次卷积,以生成三个通道共九个通道的R, G, B channel。本文.https://blog.youkuaiyun.com/Crystal_remember/article/details/123715221

结论

我会在随后的更新中进行文章细致的代码注释。复现等工作,由于手头任务较多,因此可能较慢,就算督促自己进行学习、总结吧。

—————————————————待完善—————————————————

基于三角面法向的双边滤波网格平滑算法实现 基于三角面法向的双边滤波网格平滑 阅读详情

相关推荐

双边网格学习一:2021cvpr《Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning》

背景 方法 ,据论文所述,在实时性方面达到较好结果。核心采用双边网格,双边网格能够关注色彩突变的物体边界,并能够很好的关注于高频信息 上面是该网络的主要架构图,可以看到非常地简洁,实际上,为了简洁而简洁可能有时候会对读者造成一定的误导。如,在该模型中的特征提取部分代码里使用的是Unet网络,图中则画的很简单,另外在RGB图像表示部分也不够清楚,实际上在图像输入之后也会有一个unet进行特征提取,然后对提取后的特征分别进行三次卷积,以生成三个通道共九个通道的R, G, B channel。 本文.

Alocus的博客 7881

双边滤波和双边网格

双边滤波 双边滤波器也是一种保边滤波器.和导向图滤波器一样,可以达到在平坦区域进行均值(高斯)滤波的效果,在边缘不进行滤波的效果.其原理为一个与空间距离相关的高斯函数与一个灰度距离相关的高斯函数相乘. 其中空间距离指的是当前点与中心点的欧式距离。空间域高斯函数其数学形式为: (xi,yi)为当前点位置,(xc,yc)为中心点的位置,sigma为空间域标准差. 灰度距离指的是当前点灰度(像素点值)与中心点灰度的差的绝对值。值域高斯函数其数学形式为 其中gray(xi,yi)为当前点灰度值,.

qq26983255的博客 6548

阅读论文《Deep Bilateral Learning for Real-Time Image Enhancement》

   这是2017 siggraph的一篇论文,寒假boss让我看这篇论文我没怎么看懂。最近在公司实习,发现该论文的成果已经移到手机端上了,效果还非常不错。这里我重新温习了一下这篇论文,发现有许多可以借鉴的地方,是一篇非常不错的论文,这里重新叙述一下,谈谈我的理解。    首先说一下这篇文章的整体思路,这篇文章对于图像增强的方法是,将图像首先做下采样,继续卷积下采样几次然后分别学习其全局特征和局...

CHNguoshiwushuang的博客 1万+

双边格网(bilateral grid)

双边滤波速度很慢 —> 加速,双边网格。 首先明确一点,双边网格本质上是一个数据结构。 以单通道灰度值为例,双边网格结合了图像二维的空间域信息以及一维的灰度信息,可认为其是一个3D的数组。 举一个简单的例子,假设现在你手上有一只用于滤波/平滑的笔刷,当你用这只笔刷在图像EEE上的某一个位置(x,y)(x,y)(x,y)处点击了一下,对应的,3D双边网格的(x,y,E(x,y))(x,y,E(x,y))(x,y,E(x,y))位置将出现一个点,这个点即对应你在2D影像EEE上点击的那个点。随着这只笔刷

flow_specter的博客 8638

论文阅读笔记 《Bilateral Grid Learning for Stereo Matching Networks》[2021]

论文提出了一种边缘保留(edge-preserving)的cost volume上采样模块,其基于可学习的双边网格(bilateral grid)中的slicing操作(这里我翻译成了“切片”),这让我们能够在可学习的guidance map的指导下,从低分辨率的cost volume中获得高质量且高分辨率的cost volume。双边滤波器是一种边缘保留的滤波器,在图像去噪方面有广泛的应用,但是,双边滤波器的原始实现是耗时的,所以,双边网格(Bilateral Grid)被提出来用于加快双边滤波的速度。

weixin_56127994的博客 844

Deep Bilateral Learning for Real-Time Image Enhanceme/hdrnet 笔记

本文参考论文Deep Bilateral Learning for Real-Time Image Enhanceme,按照原文中的第三章,通过阐述重点思想并结合代码来介绍hdrnet的网络结构。 论文project地址:https://groups.csail.mit.edu/graphics/hdrnet/ 3 OUR ARCHITECTURE 大部分的运算发生在低分辨率的图像上,即上...

沉剑池 5255

hdrnet,Deep Bilateral Learning for Real-Time Image Enhancement解读

这是一个复杂的摄影管道,包括色彩校正、自动曝光、去雾和色调映射等操作。:这个数据集由Bychkovsky等人提供,包含了500张用于验证和测试的图像,其余4500张用于训练。数据集中的图像被用来应用各种效果,并且通过随机裁剪、翻转和旋转进行数据增强。:这个数据集包含了标记的面部图像,用于面部明亮化任务。:这个数据集是通过将MIT“FiveK”数据集中的每个图像映射到100个不同的图像(风格目标)来生成的。

bug404 2360

直方图双向均衡算法(hde)的matlab实现

直方图双向均衡算法(hde)先通过he处理后再将直方图等间距排列,使图像细节更加明显

CVPR2021|用于立体匹配的可学习双边网格

编辑丨3D视觉开发者社区高精度的实时立体匹配网络是时下研究的一个热点,它在自动驾驶、机器人导航和增强现实等领域中有着广泛的应用。虽然近年来对立体匹配网络的研究已经取得了显著的成果,但要同时...

3D视觉工坊 2857

hdrnet:SIGGRAPH 2017的``深度双边学习以实现实时图像增强''的实施

深度双边学习,用于实时图像增强 Siggraph 2017 访问我们的。 加文·陈(Jonathan T.) 由Michael Gharbi( )维护 在Python 2.7,Ubuntu 14.0,gcc-4.8上进行了测试。 免责声明 这不是Google的官方产品。 设置 依存关系 要安装Python依赖项,请运行: cd hdrnet pip install -r requirements.txt 建造 我们的网络需要自定义Tensorflow运算符以在双边网格中“切片”。 要构建它,请运行: cd hdrnet make 要构建基准测试代码,请运行: cd benchmark make 请注意,基准测试代码需要冻结和优化的模型。 使用hdrnet/bin/scripts/optimize_graph.sh和hdrnet/bin/freeze.py to produce

Cadence元件库介绍

Cadence安装完之后,在安装目录下,会有默认自带的一些常用元件库。例如,我的Candece安装目录为: D:\Cadence\Cadence_SPB_17.2-2016 元件库所在目录为: D:\Cadence\Cadence_SPB_17.2-2016\tools\capture\library 各个元件库对应的内容如下: AMPLIFIER.OLB 共 182 个零件,存放模拟放大器 IC,如 CA3280,TL027C,EL4093 等。 ARITHMETIC.OLB 共 182 个零件,存放

年少时的棉花糖 1万+

Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning(基于多引导双边学习的超高清图像去雾CVPR2021)

摘要:卷积神经网络在单幅图像去雾任务中取得了显著的成功。遗憾的是,现有的深度去雾模型计算复杂度高,难以应用于高分辨率图像,特别是UHD或4K分辨率的图像。为了解决这一问题,我们提出了一种新的网络,能够在单个GPU上实现4K图像的实时去雾,该网络由三个深度CNN组成。首先CNN以降低的朦胧输入分辨率提取与雾相关的特征,然后在双边空间中拟合局部仿射模型。另一个CNN用于学习多个全分辨率导航图对应的双边模型。因此,通过多导双侧上采样可以重建高频特征图。最后,第三个CNN将高质量的特征映射融合成去雾图像。此外,我们

yanglong6666的博客 3323

基于强化学习的工业SCR脱硝系统控制算法设计与实现

本文提出了一种基于强化学习的工业SCR脱硝系统智能控制方法。针对SCR系统存在的非线性、大滞后和多变量耦合等控制难点,研究采用混合建模方法构建了精度在5%以内的系统模型,并设计了专门的强化学习环境。该方法通过定义合理的动作空间和状态空间,结合物理约束设计损失函数,利用深度强化学习算法优化氨喷射控制策略。相比传统PID控制,该智能控制器能更好地适应烟气参数波动,实现NOx排放的稳定控制,为工业环保设施提供了更优的自动化解决方案。

huanghm88的专栏 1456

Deep Bilateral Learning for Real-Time Image Enhancement

性能是移动图像处理中的关键挑战。给定参考成像管道,甚至是人工调整的图像对,我们寻求重现增强功能并实现实时评估。为此,我们引入了一种新的神经网络架构,其灵感来自双边网格处理和局部仿射颜色变换。使用输入/输出图像对,我们训练卷积神经网络来预测双边空间中局部仿射模型的系数。我们的架构学习如何做出局部的,全局的和依赖于内容的决策来近似所需的图像变换。在运行时,神经网络消耗输入图像的低分辨率版本,在双边空间...

u013049912的博客 2105

大模型训练方法全面解析:SFT、RFT、TRPO、DPO、PPO、GRPO、RLH、RLHF技术深度剖析

大模型训练方法全面解析 本文系统介绍了当前主流的大模型训练和对齐技术,包括监督微调(SFT)、拒绝采样微调(RFT)、信任域策略优化(TRPO)、直接偏好优化(DPO)、近端策略优化(PPO)等。这些方法各有特点:SFT简单高效但数据依赖性强;RFT通过质量筛选提升输出质量;TRPO训练稳定但计算复杂;PPO是RLHF核心算法,平衡探索与利用。文章详细分析了各方法的实现原理、优势劣势及适用场景,为开发者选择合适的大模型训练策略提供参考。

2795

5分钟搞定JY901S与STM32通信:硬件I2C+DMA配置全流程(附OLED显示教程)

本文详细介绍了如何通过STM32硬件I2C接口配合DMA高效读取JY901S姿态传感器数据,并实现OLED实时显示。文章从硬件连接、I2C与DMA配置、通信协议解析到数据可视化,提供了完整的实战流程和避坑指南,帮助开发者快速构建高精度、低CPU占用的姿态感知系统。

weixin_29185167的博客 481

论文阅读笔记:Bilateral Grid Learning for Stereo Matching Networks

摘要 立体匹配网络的实时性能对于许多应用都很重要,例如自动驾驶、机器人导航和增强现实 (AR)。尽管近年来立体匹配网络取得了重大进展,但平衡实时性能和准确性仍然具有挑战性。在本文中,我们提出了一种有效的边缘保留的匹配代价卷上采样模块,它是基于可学习的双边网格中的切片操作。切片层是无参数的,在可学习引导图的作用下,这使我们能够从低分辨率的特征图获得高质量的匹配代价卷。我们提出的成本量上采样模块可以无缝嵌入到许多现有的立体匹配网络中,例如 GCNet、PSMNet 和 GANet。这些网络可因此被加速,同时保持

weixin_42677507的博客 2977

从Gitee上部署视觉工程到Linux虚拟机

(使用SVM来识别装甲板的编号,此处手机上的图片中只有灯条没有数字,SVM无法识别出编号。这两行代码的意义是,当SVM识别不出或者识别不到编号时,把装甲板的编号默认为2号。找到自瞄程序中,数字识别类下的这两行代码,把注释去掉。这样,每次打开新的终端时,环境变量都会自动设置。(2)查看虚拟机设置选项,检查虚拟机USB接口是否为3.0及以上的接口。如果不是,要更改好。这样,每次打开新的终端时,环境变量都会自动设置。后,每次打开终端时自动设置这些环境变量,你可以将。打开第一个终端,用来挂ROS的内核启动页面。

2301_81035291的博客 1520

【深度学习】Deep Bilateral Learning for Real-Time Image Enhancements

1. 简述: hdrnet是CNN在图像处理领域的成功实践,同时该框架的提出后,被成功的迁移到其他视觉领域,如降噪、风格迁移。当然在该论文中其主要作用是hdr,即图像的暗部亮部细节增强。 论文:Deep Bilateral Learning for Real-Time Image Enhancements github地址:https://github.com/google/hdrnet 项目地址:https://groups.csail.mit.edu/graphics/hdrnet/ 2. 方

a200800170331的专栏 2301

CRISPR筛选全流程指南:从文库构建到数据分析实战

功能基因组学研究需要高效解析基因型与表型的关联,高通量筛选技术是其中的关键工具。基于CRISPR系统的筛选方法通过大规模sgRNA文库扰动基因功能,结合慢病毒递送和测序分析,能够系统鉴定影响细胞增殖、耐药、病毒感染的候选基因。与RNAi或化学小分子筛选相比,CRISPR筛选具有覆盖全基因组、脱靶率低、信号清晰等优势,已广泛应用于药物靶点发现、合成致死和免疫治疗机制研究。本文围绕实验设计与操作中的核心要点展开,涵盖文库扩增、病毒滴度控制、MOI把握、筛选模式选择以及基于MAGeCK的sgRNA丰度分析,并针对

weixin_31188927的博客 283

【SABRE 3D, SABRE 3DxT,LAM设备】2025年9月10日

前文:SABRE 3D系列机台简介本章节详细阐述了在维护期间锁定电气、机械、热力学及重力组件以及化学管线输入的锁定操作流程,旨在降低人员受伤风险。p42~p55。

weixin_46735260的博客 1614

【CVPR2021】用于立体匹配的可学习双边网格

高精度的实时立体匹配网络是时下研究的一个热点,它在自动驾驶、机器人导航和增强现实等领域中有着广泛的应用。虽然近年来对立体匹配网络的研究已经取得了显著的成果,但要同时兼顾实时性和高精度仍然是一个挑战。现有的高精度立体匹配网络,通常需要在较高的分辨率建立代价空间。比如,GANet在1/3分辨率建立代价空间,PSMNet在1/4分辨率,但这会影响网络的效率(GANet处理一对1242×375的图像,需要1.8s,PSMNet需要0.41s)。

limingmin2020的博客 904

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

论文阅读:Deep Bilateral Learning for Real-Time Image Enhancement 的工程化落地——从论文到可复现推理管线

复现 Deep Bilateral Learning 实时图像增强,关键在低分辨率预测双边网格系数、slicing 层保边上采样。本文给出可复制推理管线配置、引导图对齐与批处理边界,并用 TaoToken 统一 Key/API 通道管理调用侧环境变量,跑通单图增强与耗时画质对比。详见 https://taotoken.net/?utm_source=taotoken_aicg_blog_end

weixin_42612405的博客 193

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

上一篇: 超分辨率重建学习总结、SR、super resolution、single image super resolution
下一篇: 视频运动放大一:欧拉视频放大,《Eulerian video magnification for revealing subtle changes in the world》
Alocus_
Alocus_ 新星创作者: 人工智能技术领域 新星创作者: 人工智能技术领域
博客等级 码龄9年 2万+粉丝 184原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alocus_

如果我的内容帮助到你,打赏我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值