Paper reading: Conditional Diffusion for Interactive Segmentation ICCV2021

最新推荐文章于 2024-09-13 21:59:25 发布
原创 最新推荐文章于 2024-09-13 21:59:25 发布 · 315 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

CDNet是一种新的交互式语义分割方法，它利用FeatureDiffusionModule(FDM)进行全局相似性的特征传播，而PixelDiffusionModule(PDM)则在局部区域内扩散预测的logits。该网络通过点击定义的起始区域和目标，引导信息扩散，将高斯地图和预测逻辑值作为输入，促进像素级别的预测和信息传播。

交互式语义分割

We propose Conditional Diffusion Network (CDNet), which propagates labeled representations
from clicks to conditioned destinations with two levels of affinities:

Feature Diffusion Module (FDM) spreads features from clicks to potential target regions with global similarity;
Pixel Diffusion Module (PDM) diffuses the predicted logits of clicks within locally connected regions.

定义起始的click区域，和diffusion目标区域，作为约束信息，交互进行diffusion。

 

把原始图像、click的高斯maps，和预测的逻辑值，作为输入，进而促进信息从点位置到邻近像素的传播和预测。 

我是家家
关注
深入理解Conditional Diffusion Models：解读《On Conditioning the Input Noise for Controlled Image Generation》
沉迷单车的追风少年
05-22 8338
​ 我之前写了一篇博客《条件DDPM：Diffusion model的第三个巅峰之作》梳理了conditional diffusion models的发展脉络，总结了现在常用的条件使用方法。最近逛arxiv看到一篇最新的论文主打conditional diffusion models，和读者一起读一下这篇论文《On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models》...
【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception
weixin_45657478的博客
10-01 932
【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception
探索 Conditional Diffusion MNIST：深度学习的新视角
gitblog_00066的博客
04-26 814
在深入探讨 这个项目之前，我们先理解一下其背后的理论基础——扩散模型（Diffusion Models）。这是一种利用逆过程来生成高质图像的人工智能技术，近年来在生成式模型领域取得了显著进展。Conditional Diffusion MNIST 是将这种技术应用于经典MNIST手写数字数据集的一个项目，让我们一起看看它是如何工作的，能做什么，以及它的独特之处。 ## **项目简介** 该项...
条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models
Hekena的博客
02-23 5532
先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系，也是在模型中嫁梯子，达到最终的目标。架梯子好像有点意思啊，可以多想想。
【论文精读】CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation
MaoZhihang的博客
07-02 4159
论文精读 扩散模型
Image Translation for Medical Image Generation Ischemic Stroke Lesion Segmentation——论文翻译
Momoko_W的博客
11-25 7241
摘要 ​ 基于深度学习的疾病检测和分割算法有望改善许多临床过程。然而，此类算法需要大量带注释的训练数据，而由于数据隐私、法律障碍和非统一的数据获取协议，这些数据通常在医疗环境中不可用。带有注释病理的合成数据库可以提供所需数量的训练数据。我们以缺血性中风为例证明，基于深度学习的增强技术在病灶分割方面的改进是可行的。为此，我们训练不同的图像到图像的翻译模型，从语义分割图合成有和没有脑卒中病灶的脑体素磁共振图像。此外，我们训练生成对抗网络，以生成合成病变mask。随后，我们结合这两个组件来构建一个大的合成卒中图
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7352
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
文章方向————IEEE（2023 年第 19 届 ICCV 研讨会）
m0_47239466的博客
04-07 241
1、模板引导的照明校正，适用于几何重建不完美的文档图像 |IEEE会议出版物 |IEEE Xplore（IEEE Xplore）
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 4990
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
CCF A类会议或期刊----近两年对比学习相关论文
Thincor的博客
03-20 6043
会议/期刊 论文 sigmod2021 Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals. neurips2020 Adversarial Self-Supervised Contrastive Learning. neurips2020 Demystifying Contrastive Self-Supervised Learning: Invariances, Augme....
论文精读（保姆级解析）—— Guidance with Spherical Gaussian Constraint for Conditional Diffusion
chase
07-20 1084
论文精读（保姆级解析）—— Guidance with Spherical Gaussian Constraint for Conditional Diffusion
Probabilistic Diffusion for Interactive Image Segmentation论文笔记
dzm123lalala的博客
03-19 699
计算流程 初始化参数KKK和α\alphaα KKK是k-means聚类数， 用Eq.(7)计算初始概率p0p^0p0 c是像素的intensity feature 使用k-means算法分别对被标记成前景和背景的样本点进行聚类，得到聚类中心，K是聚类数，L=F/B大概是没有标签的像素吧？，为没有标签的像素分配类别 用Eqs.(1,10,9)计算W，DF，W^\hat{W}W^ W=[Wi...
深入探索条件扩散模型：一个详尽解读
loop_syntax648的博客
09-19 7058
条件扩散模型是一种生成模型，它通过学习数据的条件分布来生成新的样本。与传统的生成模型不同，条件扩散模型使用扩散过程（Diffusion Process）来建模数据的生成过程。在扩散过程中，模型通过逐步加入噪声来逼近目标分布，从而生成与目标分布相似的样本。条件扩散模型的主要思想是通过一系列的扩散步骤，将噪声逐渐转化为目标样本。每个扩散步骤可以看作是一个条件生成模型，它将当前样本和噪声作为输入，生成下一个样本。通过多次迭代这个过程，模型可以生成高质量的样本。
Conditional_Diffusion_MNIST 项目常见问题解决方案
gitblog_09208的博客
09-13 452
**项目名称**: Conditional_Diffusion_MNIST **项目链接**: [https://github.com/TeaPearce/Conditional_Diffusion_MNIST](https://github.com/TeaPearce/Conditional_Diffusion_MNIST) **主要编程语言**: Python **项目简介**:...
条件DDPM：Diffusion model的第三个巅峰之作
沉迷单车的追风少年
12-23 1万+
前言：DDPM从2020年诞生，短短一年的时间，模型上有两个巨大的改进，其中一个就是condition的引入，最近大部分DDPM相关的论文都会讨论这一点，有些文章称之为latent variable。和当年GAN的发展类似，CGAN和DCGAN的出现极大程度上促进了GAN的发扬光大，意义重大。本文基于前面几篇文章继续聊一聊： 从VAE到Diffusion Model_沉迷单车的追风少年-优快云博客 为什么diffusion model扩散模型可以称为score-based models？_沉迷单车的.
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 4万+
《DiffusionModels与深度学习》专栏文章导航
Diffusion Models 简单代码示例
wufeil7的博客
04-08 6126
扩散模型的目标是通过数据在潜在空间（latent space）的扩散过程，学习数据的潜在向量结构(latent structure)，通俗点说，扩散模型学习利用数据逐步变成噪声的过程，学习反向的去噪声过程。基于 GAN 生成模型，基于 VAE 的生成模型，以及基于 flow 的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。扩散模型的灵感来自于非平衡热力学。他们定义了一个扩散步骤的马尔可夫链，慢慢地向数据添加随机噪声，然后学习反向扩散过程，从噪声中构建所需的数据样本。
每日学术速递2.22
与君共勉，一起学习
02-23 1170
作为新兴的强大生成模型，扩散概率模型可用于插补以观察为条件的缺失值，避免从不准确的历史插补中推断出缺失值。为了解决上述问题，我们提出了一个用于时空插补的条件扩散框架，该框架具有增强的先验建模，名为 PriSTI。在推理阶段，丰富的中间表示作为可组合元素工作，为可定制的内容创建带来巨大的设计空间（即，与分解因子的数量成指数比例）。值得注意的是，我们称之为 Composer 的方法支持各种级别的条件，例如作为全局信息的文本描述、作为局部指导的深度图和草图、用于低级细节的颜色直方图等。
005_SS_ Palette Image-to-Image Diffusion Models
D_Trump的博客
07-02 3608
Palette: Image-to-Image Diffusion Models 笔记
MDPO：Conditional Preference Optimization for Multimodal Large Language Models
最新发布
08-21
for step in range(diffusion_steps): # 添加噪声 noisy_input = add_noise(encoded_input, noise_schedule[step]) # 使用扩散模型预测噪声 predicted_noise = diffusion_model(noisy_input) # 优化策略并...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值