Tutorial on Visual Saliency Modeling

最新推荐文章于 2021-12-10 14:48:10 发布
原创 最新推荐文章于 2021-12-10 14:48:10 发布 · 743 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本教程深入探讨了CVPR2013中关于视觉显著性建模的主题，涵盖ECCV2008的相关内容，提供了一套详细的学习资源，旨在提升视觉注意力领域的研究与应用。
计算机视觉和模式识别的code
a200800170331的专栏
10-05 4439
UIUC的Jia-Bin Huang同学收集了很多计算机视觉方面的代码，链接如下： https://netfiles.uiuc.edu/jbhuang1/www/resources/vision/index.html   Type Topic Name Reference Link Code
State-of-the-art in Visual Attention Modeling 中文翻译版
02-03
该文章是高水平会议PAMI2013年的会议论文，是关于计算机视觉领域中视觉注意模型的综述，个人感觉写的非常好，总结的很全面。不过本人英语不太好，看的很吃力，幸好无意中在网上找到该文章的中文翻译版，特拿出来和有需要的朋友共享。
基于马尔科夫吸收概率的显着区域检测_MAP（Saliency Region Detection Based on Markov Absorption Probabilities）
Unique-You的博客
07-05 3862
详见卢湖川主页 在本文中，我们通过利用显着性检测与马尔科夫吸收概率之间的关系，提出一种新颖的自下而上的突出物体检测方法。 首先，我们通过把加权图上部分图像边界作为背景（仅使用左侧和顶侧作为背景），通过马尔科夫吸收概率计算初步显着图。每个元素的显著性被定义为与其最相似的几个左和右虚拟边界节点的相应吸收概率的总和。第二，通过将图像元素与从初步显着图提取的前景提示的相关性进行排序来获得更好的结果，其
Piex Objectness 论文翻译
Eternity的博客
05-28 590
1、摘要我们提出了一个面向前景对象分割的端到端学习框架。考虑到一个单一的新图像，我们的方法为所有“对象”区域(甚至是在训练中从未见过的对象类别)生成一个像素级的掩码。我们将此任务作为一个结构化的预测问题，将一个前景/背景标签分配给每个像素，并使用一个深度完整的卷积网络实现。我们的想法的关键是通过混合图像级别的对象类别示例和相对较少的具有边界级别注释的图像进行培训。我们的方法极大地改进了ImageN...
Saliency Detection on Light Field
10-23 466
1 : Saliency Detection on Light Field Nianyi Li, Jinwei Ye, Yu Ji, Haibin Ling and Jingyi Yu. In IEEE Conference on Computer Vision and Pattern Recognition (CV...
【谷歌翻译】EBS : Encoding based Saliency Detection for Videos and Images
郡主的博客
05-17 408
＠cited:25 (google scholar)摘要：我们提出了一种新颖的视频显着性检测方法来支持人类活动识别和活动检测算法的弱监督训练。最近的研究强调需要分析视频中的重要信息，以最大限度地减少数据集偏差或监督活动检测器的弱标签培训。与以前的方法不同，我们不依赖于通过其他眼睛注视或注释数据给出的训练信息，但提出了一种完全不受管理的算法来查找视频中的显着区域。一般来说，我们对外观和动作线索都采用...
【CVPR2020】计算机视觉与模式识别会议论文完全清单_Part2
TomRen
06-11 3737
CVPR 2020 的论文已经于6月10号放出 由于篇幅限制分两部分发出—>part1 Todo：word-cloud Relative Interior Rule in Block-Coordinate Descent Author: Tomas Werner,Daniel Prusa,Tomas Dlask Learning Combinatorial Solver for Graph Matching Author: Tao Wang,He Liu,Yidong Li,Yi Jin,Xi.
2021年最新，90篇最新GAN/对抗论文汇总（链接自取）
Python4857的博客
12-10 3372
001 (2021-12-8) Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN https://arxiv.org/pdf/2112.04283.pdf 002 (2021-12-8) Assessing a Single Image in Reference-Guided Image Synthesis https://arxiv.org/pdf/2112.04163....
一份史上最详细的计算机视觉资料：包括书籍、论文、数学理论、代码、数据集
Tiger数学之家的博客
08-29 1122
Awesome Computer Vision A curated list of awesome computer vision resources, inspired by awesome-php. For a list people in computer vision listed with their academic genealogy, please visit here Table...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【谷歌翻译】【CVPR15】Saliency-Aware Geodesic Video Object Segmentation
郡主的博客
05-18 1434
＠cited:164(Google Scholar)摘要：我们引入了一种无监督的基于测地距离的显着视频对象分割方法。与传统方法不同，我们的方法通过计算鲁棒测地测量将显着性作为对象的先验进行合并。我们考虑两个有区别的视觉特征：空间边缘和时间运动边界作为前景物体位置的指示。我们首先使用这些指标的测地距离生成逐帧时空显着性地图。基于前景区域被高时空边缘值区域包围的观察结果，测地距离为前景和背景提供了初始...
格式塔心理学
黑米米的专栏
02-15 1778
在某些领域内，心理学和视觉传达设计学具有共同的研究兴趣，视觉知觉便是其中之一。许多年以来，心理学家们一直想确定，在知觉过程中人的眼和脑是如何共同起作用的。作为设计师，对此也同样感兴趣，因为视觉表现，比如平面广告的设计，归根结底是给别人看的。对知觉所进行的一整套心理学研究，以及由此而产生的理论，被称为格式塔心理学(完形心理学)。格式塔心理学的部分原理对设计是没有直接影响的。然而在视觉传达设计中，不论
利用pytorch实现Visualising Image Classification Models and Saliency Maps
老潘的博客
11-29 5836
素材来源自cs231n-assignment3-NetworkVisualization saliency mapsaliency map即特征图，可以告诉我们图像中的像素点对图像分类结果的影响。计算它的时候首先要计算与图像像素对应的正确分类中的标准化分数的梯度(这是一个标量)。如果图像的形状是(3, H, W)，这个梯度的形状也是(3, H, W)；对于图像中的每个像素点，这个梯度告诉我们当像素点
【谷歌翻译】【TIP17】Video Saliency Detection via Spatial-Temporal Fusion and Low-Rank Coherency Diffusion
郡主的博客
05-20 939
摘要 本文提出了一种基于时空显着性融合和低秩一致性引导显着扩散的视频显着性检测新方法。与传统方法形成鲜明对比的是，它们以逐帧方式局部地进行显着性检测，并且容易产生不正确的低级显着图，为了克服现有的困难，本文提出将颜色显着性基于全局运动线索以分批方式进行。并且我们还提出了低秩一致性引导的时空显着性扩散以保证显着性图的时间平滑性。同时，还设计了一系列显着性提升策略，以进一步提高显着性准确度。首先，将原...
Saliency特征提取分析 CVPR 系列（一）
信息学院嵌入式实验室
06-14 5767
1、Global Contrast based Salient Region Detection  (ming ming cheng)              (2011) 提出方法：基于全局对比度的显著性区域检测，HC-maps、RC-maps 本文动机：同时考虑了全局对比度和空间相干性。 缺点：对具有高纹理的图像场景不一定能达到最佳效果。 Histogram Contrast(H
saliency detection论文（一）—Saliency Detection: A Spectral Residual Approach
LilyNothing的博客
11-01 1583
目录本文是对Xiaodi Hou和Liqing Zhang写的《Saliency Detection: A Spectral Residual》的翻译与总结：目录 Abstract 残差谱模型 1 log频谱表示 2 从谱残差到显著图的获得 实验结果分析 本文参考资料《Saliency Detection: A Spectral Residual Approach》是上交高材生侯晓迪在07年的CV
阅读图像显著性检测论文四：Saliency Filters Contrast Based Filtering for Salient Region Detection
xbcReal的博客
12-14 3557
这是出自CVPR 2012年的一篇文章，目前谷歌学术引用次数500+，与前面提取特征或者转到频率域做的方法不同，这篇文章使用了非常直观的对比度来描述显著性，笔者认为是非常符合人类视觉系统的认知方式的，是一篇非常不错的文章，值得我们去了解。
A Deeper Look at Saliency: Feature Contrast, Semantics, and Beyond
cv_family_z的博客
08-03 1367
CVPR2016 A Deeper Look at Saliency: Feature Contrast, Semantics, and Beyond本文首先解决的问题是在设计 visual saliency 模型时，关注的是 high level considerations，然后就是提出了一个 基于 全卷积网络的 FCNs 深度模型，同时指出在训练数据的选择，真值数据的使用上对最终结果至关
阅读图像显著性检测论文七：Graph-Based Visual Saliency
xbcReal的博客
12-28 8225
在前文中提到过说有一篇基于图模型来做显著性检测的经典论文以后找机会介绍的，前段时间忙于考试，现在有终于空了些时间可以介绍这篇论文了。在正式介绍这篇论文之前，发现了一个小小的彩蛋。如果你阅读过本系列博客介绍的论文一、这篇论文以及侯晓迪2012年在加州理工发表在PAMI上的一篇显著性检测的文章“Image Signature: Highlighting Sparse Salient Regions
A Tutorial on Energy-Based Learning
最新发布
11-09
<think>嗯，用户这次明确要获取关于《基于能量学习的教程》的资料。从引用内容看，用户已经接触过Yann LeCun的那篇经典教程，但可能没找到完整资源或需要更系统的讲解。 用户提供的引用碎片中包含了几个关键点：Helmholtz自由能量的类比、概率模型与EBM的关系、损失函数设计（特别是广义感知器损失）、序列建模应用（如支持向量马尔可夫模型），以及随机梯度优化的优势。这些恰好是EBM的核心内容，但用户显然需要更体系化的知识。 考虑到用户研究的是机器学习方向，应该优先推荐权威资料。突然想到Ian Goodfellow在《深度学习》教材里有一章专门讲EBM，比单独教程更易读。不过用户指定要tutorial，所以还是把LeCun的原始论文排第一。MIT的公开课其实更直观，但国内访问可能受限。 用户没提具体应用场景，但引用[3]提到序列建模（语音/手写识别），推测可能是做时序数据研究的。所以补充推荐了CVPR的tutorial和ICLR综述——这类会议文献通常会更新最新进展，比如扩散模型其实也属于EBM框架下的生成模型。 最后加了个“导论级资源”的选项，因为发现用户引用的公式片段(L_{energy})涉及数学推导，若基础不牢可能更适合摩根克莱曼的讲义。要不要提醒数学预备知识呢？但用户没明确表示困难，暂时先保持推荐结构简洁吧。 </think>以下是关于 **基于能量学习（Energy-Based Learning, EBM）** 的权威教程资源与核心内容解析，结合您的引用内容和学术需求整理： --- ### **核心教程推荐** 1. **[Yann LeCun 经典教程]** **《A Tutorial on Energy-Based Learning》** - **作者**：Yann LeCun（深度学习先驱，图灵奖得主） - **内容概要**： - 系统阐述EBM框架如何统一逻辑回归、SVM、结构化预测等模型（引用[3]） - 对比**能量函数**与**概率模型**的关系（引用[1][2]） - 分析损失函数设计原则（如广义感知器损失 $L_{energy}(Y^i, E) = E(W, Y^i, X^i)$ [^4]） - 讨论随机梯度优化在高维非凸问题中的有效性（引用[3]） - **获取途径**： [纽约大学课程页面](https://cilvr.nyu.edu/doku.php?id=courses%3Adeeplearning2015%3Astart) 或 [LeCun个人主页](https://yann.lecun.com) 2. **[MIT 进阶资源]** **《Energy-Based Models for Deep Learning》**（MIT 6.S191） - 重点覆盖： - EBM在生成模型（如图像生成）中的应用 - 对比散度（Contrastive Divergence）、分数匹配（Score Matching）等训练技术 - **视频讲座**：[MIT Deep Learning Courses](http://introtodeeplearning.com) 3. **[最新研究综述]** **《Energy-Based Learning: Advances and Challenges》**（CVPR 2023 Tutorial） - 探讨EBM在自监督学习、多模态对齐中的前沿进展 - 开源代码库：[PyTorch-EBM](https://github.com/facebookresearch/EBM) --- ### **关键概念解析**（基于您的引用） 1. **能量函数与自由能量** - 能量函数 $E(W, Y, X)$ 描述配置 $(Y,X)$ 的合理性，值越低表示越合理。 - **Helmholtz自由能量**定义为 $\mathcal{F} = -\log \sum_{Y \in \mathcal{Y}} e^{-E(W,Y,X)}$（引用[1]），其梯度更新同时拉高/拉低不同答案的能量（见图示）： ```math \nabla_W \mathcal{L} = \nabla_W E(W, Y^i, X^i) - \mathbb{E}_{Y \sim P(Y|X)}[\nabla_W E(W, Y, X^i)] ``` 2. **EBM vs 概率模型** - EBM直接建模能量，无需归一化成概率（引用[2]）： $$ P(Y|X) = \frac{e^{-E(W,Y,X)}}{\int_{Y'} e^{-E(W,Y',X)}} $$ - **优势**：避免计算配分函数（Z）的难题，更适合结构化输出空间。 3. **序列建模应用** - 支持向量马尔可夫模型、图变换器网络（Graph Transformer Networks）等均属EBM框架（引用[3]），通过**结构化能量函数**处理语音识别、手写体识别等任务。 --- ### **学习路径建议** | **阶段** | **资源** | |------------|--------------------------------------------------------------------------| | **基础** | LeCun 教程第1-4章 + [EBM直观解说](https://towardsdatascience.com/energy-based-models-ebms-d5a1a1e4ff75) | | **进阶** | MIT 6.S191 讲座 + [JAX实现EBM](https://github.com/google-research/google-research/tree/master/ebm) | | **前沿** | CVPR 2023 Tutorial + [对比学习中的EBM](https://arxiv.org/abs/2301.00810) | --- ### 相关问题 1. **EBM中如何避免配分函数（Z）的计算瓶颈？** > 常用方法包括：对比散度（CD）、噪声对比估计（NCE）、分数匹配（Score Matching）[^1]。 2. **广义感知器损失（Generalized Perceptron Loss）与负对数似然损失有何区别？** > 前者仅拉低正确答案能量，后者同时拉高错误答案能量；负对数似然是EBM在特定损失下的概率特例（引用[3][4]）。 3. **EBM如何处理连续输出空间（如图像生成）？** > 通过Langevin动力学采样：$Y_{t+1} = Y_t - \eta \nabla_Y E(W,Y,X) + \sqrt{2\eta} \epsilon_t$，其中 $\epsilon_t \sim \mathcal{N}(0,I)$。 如需具体章节的数学推导或代码实现细节，可进一步提出需求。建议优先阅读LeCun教程第2章（能量函数设计）和第5章（训练算法）[^3]。 > 参考资料： > [^1]: LeCun Y, et al. *A Tutorial on Energy-Based Learning* (2006) > [^2]: MIT 6.S191: *Deep Generative Modeling* (2023) > [^3]: CVPR Tutorial on *Energy-Based Models* (2023)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值