Synthetic to real adaptation with generative correlation alignment network

最新推荐文章于 2020-08-06 00:21:10 发布

原创最新推荐文章于 2020-08-06 00:21:10 发布 · 267 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#computer vision #domain adaptation #synthetic to realistic

本文提出了一种名为DGCAN的深度生成相关性对齐网络，用于将CAD-synthetic领域的CAD对象轮廓与真实图像领域的自然纹理进行合成。通过探索内容和CORAL损失在不同层的效果，确定了最优配置以生成最具前景的刺激物。实验证明，该模型在多个基准数据集上的表现优于现有先进技术。

3 contributions:

We propose a Deep Generative Correlation Alignment Network(DGCAN) to synthesize CAD objects contour from the CAD-synthetic domain with natural textures from the real image domain.
We explore the effect of applying the content and CORAL losses on different layers and determine the optimal configuration to generate the most promising stimuli.
We empirically show the effectiveness of our model over several state-of-the-art methods by testing on real image datasets.

Shape Preserving loss:

Naturalness loss:

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

scriptleelee

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）

01-14

1万+

你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。

CVPR 2021最全论文开放下载！附pdf下载链接！

热门推荐

中科院AI算法工程师的博客

06-18

1万+

CVPR 2021最全论文开放，附所有pdf下载链接！

参与评论您还未登录，请先登录后发表或查看评论

【论文笔记】Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

mohc1689的博客

05-25

2177

Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance NormalizationAbstractIntroductionMethodsomething more Abstract 提出泛化性较强的去噪结构和一种迁移学习策略。用自适应实例规范化（Adaptive Instance Normalization）来搭建去噪器，可以约束feature map，防止网络过拟合。 Introduction 先分析了

论文阅读Synthetic to Real Adaptation with Generative Correlation Alignment Networks

ShirleySnow的博客

12-25

903

论文题目：Synthetic to Real Adaptation with Generative Correlation Alignment Networks 作者：Xingchao Peng，Kate Saenko 来源： arxiv2017 1. 摘要文章的想法是如果使用3D CAD建模的合成图片进行训练数据的数据增强，将会是一件非常有意义的事。然而，合成图片与真实图片之间存在

Real-Time monocular depth estimation using synthetic data with domain adaptation via IST

xdlining的博客

03-02

526

4 Contributions: synthetic depth prediction - a directly supervised model using a light-weight architecture with skip connections that can predict depth based on high-quality synthetic depth training...

Real-Time Monocular Depth Estimation using Synthetic Data with Domain Adaptation via Image..论文阅读

yueleileili的博客

10-15

870

论文链接：http://openaccess.thecvf.com/content_cvpr_2018/papers/Atapour-Abarghouei_Real-Time_Monocular_Depth_CVPR_2018_paper.pdf Abstract 基于学习的方法预测单目的深度这些年逐渐的呈上升趋势。然而这些方法要么依赖于大量已标定的深度数据，或者预测disparity作为一个中间...

单目深度估计 | Real-Time Monocular Depth Estimation using Synthetic Data 学习笔记

xiao_lxl的专栏

05-06

4605

会议：CVPR 2018 标题：《Real-Time Monocular Depth Estimation using Synthetic Data with Domain Adaptation via Image Style Transfer》论文链接： http://openaccess.thecvf.com/content_cvpr_2018/papers/Atapour-Abarghou...

CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云

王博（Kings）的博客

06-25

5290

链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：

【ECCV2020】接收论文列表part1

TomRen

07-18

7326

ECCV2020 接收论文完整列表看论文学CV

【ECCV2020】完整论文集part2

TomRen

07-18

7994

ECCV2020 接收论文完整列表看论文学CV

论文笔记-Real-Time MDE using Synthetic Data with Domain Adaptation via Image Style Transfer

kingsleyluoxin的博客

08-06

356

论文信息标题： Real-Time Monocular Depth Estimation using Synthetic Data with Domain Adaptation via Image Style Transfer 作者：Amir Atapour-Abarghouei (amir.atapour-abarghouei@durham.ac.uk), Toby P. Breckon (toby.breckon@durham.ac.uk) 机构：Durham University, UK ..

CVPR 2018 paper

qq_34848537的博客

10-08

1万+

CVPR 2018 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access Paperlist Embodied Question Answering Learning by Asking Questions Finding Tiny Faces in the Wild With Generative Adversarial Network...

High Quality Monocular Depth Estimation via Transfer Learning论文学习

weixin_37784899的博客

03-18

2427

High Quality Monocular Depth Estimation via Transfer Learning贡献方法网络结构复杂性和性能学习损失函数增强策略实验结果数据集实验细节评估质量评估定性结果Ablation Studies深度编码深度解码颜色增强泛化到其他数据集结论代码实现 arXiv:1812.11941v2 [cs.CV] 10 Mar 2019 贡献三个方面。第一，...

Unsupervised Learning of Monocular Depth Estimation and Visual Odometry论文阅读

yueleileili的博客

10-06

1828

Abstract 这篇文章，作者利用双目视频序列学习深度和视觉测距。使用双目序列能够促进利用空间的（左右目拍摄的图片），和时序上的（前后帧图片）的photometric warp error, 并且限制景深会和相机运动在一个现实的范围。测试阶段，作者提出的框架能够从单目序列当中估计单张场景的深度，和两张场景的视觉里程。作者也展示了将深度特征的warp考虑进来可以优化photometric warp...

Ubuntu16.04中单目相机稠密重建（深度估计）

qq_36122936的博客

04-03

2304

基于SLAM14讲13.3中提到的单目稠密重建方法，重建自己的单目相机图片的深度图。我们已经制作了自己的数据集，而且我们现在也根据合适的算法得到了对应的相机位姿。那么就已经达到了单目相机深度估计的要求。下面这些例程使用的是公开的REMODE测试数据集。例程效果如下 dense_mapping.cpp 主程序如下所示 #include <iostream> #incl...

Unsupervised Monocular Depth Estimation with Left-Right Consistency-CVPR17学习笔记

计算机视觉学习爱好者

08-31

2484

0. 摘要本文在现有方法的基础上进行了创新，在训练中用更容易获得的双目立体图像代替显式深度图的使用。利用极几何约束，用图像重建损失训练网络生成视差图像。只用图像重建损失得到的深度图质量差，作者一共利用了三个损失函数。 1. 介绍我们的方法很快，在GPU上预测一张512×256图像的深度图只需要大约35ms的时间。 2. 相关工作略 3. 方法目前，为大量场景获取深度图的真值...

单目深度估计

zxcqlf的博客

03-18

6172

基于深度学习的单目深度估计简介算法分类（按训练方式）有监督（Supervised methods）无监督（Unsupervised methods）半监督（Semi-supervised methods）发展趋势参考自单目深度估计综述文章：文章围绕单目深度估计的数据集、评估指标、相关工作（有监督，半监督以及无监督）等进行了简介和综述。简介对于自主系统，如自主机器人和无人车等，无论对周围环境......

台湾大学深度学习课程学习笔记 Lecture 5-1: Gated RNN（LSTM与GRU介绍）

scxyz的博客

01-10

3000

以下内容和图片均来自台湾大学深度学习课程。课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html Review首先复习一下 lecture3-1 Recurrent Neural Network 讲过的RNN结构。RNN假设现在有3个sequence表示为 x1x^1、x2x^2、x3x^3，设定的初始化向量 h0h_

论文笔记-深度估计(7)-CNN-SLAM Real-time dense monocular SLAM with learned depth prediction

一只飞鱼的博客

01-05

6856

CVPR2017_CNN-SLAM Real-time dense monocular SLAM with learned depth prediction关键词：基于CNN的单张图深度估计，语义SLAM，半稠密的直接法SLAM作者提出了一个利用CNN结合SLAM的应用，其SLAM过程如上图，具体解释如下：作者首先筛选出关键帧，在关键帧上用训练好的CNN网络[1]来预测单帧图深度值得到深度图，并以

how to get a dataset with a correlation with a given dataset python

最新发布

07-15

<think>我们被要求使用Python生成或查找与给定数据集具有相关性的数据集。这里有两种主要方法： 1. 生成合成数据集：通过统计特性（如相关系数）生成与给定数据集相关的新数据集。 2. 查找真实数据集：在公开数据集中寻找与给定数据集具有相关性的数据集。由于问题中没有提供具体的数据集，我们将分别讨论两种方法，并提供代码示例。 ### 方法1：生成合成数据集我们可以根据给定的数据集，通过线性变换或添加噪声等方式生成具有相关性的新数据集。 #### 步骤： 1. 计算给定数据集的均值和协方差矩阵。 2. 使用多元正态分布生成新数据，保持相同的均值和协方差。 #### 示例代码： ```python import numpy as np import pandas as pd # 假设我们有一个给定的数据集（这里用随机数据模拟） np.random.seed(42) given_data = pd.DataFrame(np.random.randn(100, 3), columns=['A', 'B', 'C']) # 计算给定数据集的均值和协方差矩阵 mean = given_data.mean().values cov = given_data.cov().values # 生成具有相同均值和协方差的新数据集（与给定数据集具有线性相关性） new_data = np.random.multivariate_normal(mean, cov, size=100) new_data = pd.DataFrame(new_data, columns=['X', 'Y', 'Z']) # 查看新数据集与给定数据集的相关性（注意：这里我们生成的是新数据集，但我们可以检查新数据集内部的相关性结构） print(new_data.corr()) ``` ### 方法2：查找真实数据集我们可以使用公开的数据集存储库（如Kaggle、UCI等）来查找与给定数据集具有相关性的数据集。但是，这个过程通常需要手动进行，因为需要理解数据集的语义。不过，我们可以通过计算给定数据集与公开数据集的统计相似度（如特征分布、相关性结构等）来辅助查找。由于自动化查找整个互联网上的数据集不现实，我们通常通过以下步骤： 1. 将给定数据集的关键特征（如特征名称、统计摘要）作为查询条件。 2. 在公开数据集平台上搜索。但是，我们可以利用一些Python库来访问公开数据集，并计算它们与给定数据集的相似度。例如，使用`sklearn`计算数据集之间的相似度（如KL散度、相关系数等）需要将数据集转化为相同的特征空间，这通常很困难。因此，我们推荐使用以下方法： - 使用`dataprep`库中的内置数据集（如引用[1]所示）来加载一些数据集，然后计算给定数据集与这些数据集的相关性（如果特征维度相同）。但通常特征维度不同，所以需要先进行特征选择或降维。 #### 示例步骤： 1. 加载`dataprep`的内置数据集（如果有）或其他公开数据集。 2. 将给定数据集和公开数据集进行预处理（例如，选择相同的特征子集或进行特征嵌入）。 3. 计算两个数据集之间的相似度（例如，通过比较数据集的统计特性）。然而，由于特征空间不一致，这种方法通常不可行。因此，更实际的做法是通过语义匹配（如特征名称）来查找相关数据集。 ### 总结 - 如果要生成数据集，使用多元正态分布基于给定数据集的均值和协方差生成。 - 如果要查找真实数据集，需要根据数据集的描述和特征进行手动搜索，或者利用公开数据集的API（如`sklearn.datasets`或`dataprep.datasets`）获取数据集列表，然后通过比较统计特性（如均值、方差、相关系数矩阵的相似度）来筛选。下面我们提供一个比较两个数据集相关系数矩阵相似度的示例（假设两个数据集具有相同的特征）： ```python # 假设有两个数据集df1和df2，具有相同的特征 # 计算两个数据集的相关系数矩阵 corr1 = df1.corr() corr2 = df2.corr() # 计算两个相关系数矩阵的相似度（例如Frobenius范数） similarity = np.linalg.norm(corr1 - corr2, 'fro') ``` ### 注意事项 - 生成的数据集与原始数据集具有线性相关性，但可能无法捕捉非线性关系。 - 查找真实数据集时，特征匹配是关键，否则需要先进行特征对齐。 §§相关问题§§ 1. 如何评估生成的数据集与原始数据集的相关性？ 2. 除了线性相关，还有哪些方法可以生成具有非线性相关性的数据集？ 3. 在公开数据集中查找相关数据集时，有哪些常用的Python库或工具？</think>### 如何用Python生成或查找与给定数据集相关的数据集 #### 方法1：生成合成相关数据集当需要控制数据特性时，可生成满足特定相关性的合成数据： ```python import numpy as np import pandas as pd # 给定数据集示例 given_data = pd.DataFrame({ 'Feature1': np.random.normal(0, 1, 100), 'Feature2': np.random.uniform(5, 10, 100) }) # 生成与Feature1强相关的特征 corr_coeff = 0.8 # 目标相关系数 new_feature = given_data['Feature1'] * corr_coeff + np.random.normal(0, 1-corr_coeff, 100) # 构建新数据集 correlated_data = given_data.copy() correlated_data['NewFeature'] = new_feature # 验证相关性 correlation_matrix = correlated_data.corr() print(correlation_matrix[['Feature1', 'NewFeature']]) ``` #### 方法2：查找真实相关数据集使用公开数据集API查找语义或统计相似的数据： ```python from dataprep.datasets import get_dataset_names, load_dataset import re # 获取所有可用数据集 all_datasets = get_dataset_names() # 定义目标关键词（从给定数据集提取） target_keywords = ['sales', 'financial', 'retail'] # 示例关键词 # 搜索匹配数据集 matched_datasets = [] for dataset in all_datasets: if any(re.search(keyword, dataset, re.IGNORECASE) for keyword in target_keywords): matched_datasets.append(dataset) # 加载最相关数据集 if matched_datasets: most_relevant = load_dataset(matched_datasets[0]) print(f"找到相关数据集: {matched_datasets[0]}, 形状: {most_relevant.shape}") ``` #### 方法3：特征相关性扩展通过现有特征生成衍生特征： ```python # 基于给定特征创建交互特征 given_data['Interaction'] = given_data['Feature1'] * given_data['Feature2'] # 创建多项式特征 given_data['Feature1_sq'] = given_data['Feature1']**2 given_data['Feature2_log'] = np.log(given_data['Feature2']) # 验证新特征相关性 print(given_data.corr()) ``` #### 方法4：使用时间序列相关性针对时间序列数据寻找相关序列： ```python from statsmodels.tsa.stattools import ccf # 计算互相关函数 def find_related_series(main_series, candidate_series, threshold=0.7): lags = range(-10, 11) # 检查±10个时间步 for lag in lags: corr = ccf(main_series, candidate_series.shift(lag))[0] if abs(corr) > threshold: return lag, corr return None # 示例应用 lag, correlation = find_related_series(stock_prices['AAPL'], stock_prices['MSFT']) print(f"最大相关性 {correlation} 出现在滞后{lag}期") ``` ### 关键工具和技术 1. **相关性分析**： - Pearson/Spearman相关系数：`df.corr()` - 互相关函数：`statsmodels.tsa.stattools.ccf` 2. **公开数据源**： - `dataprep.datasets`：内置300+数据集[^1] - `sklearn.datasets`：合成数据集生成 - `yfinance`：金融时间序列数据 3. **高级方法**： ```python # 使用协方差矩阵生成多元正态分布 cov_matrix = given_data.cov() synthetic_data = np.random.multivariate_normal( mean=given_data.mean(), cov=cov_matrix, size=1000 ) ``` ### 注意事项 1. 相关性与因果性：强相关特征不一定存在因果关系 2. 滞后效应：时间序列中需考虑时滞相关性 3. 非线性关系：使用互信息`mutual_info_regression`检测非线性关联 4. 维度匹配：确保比较的数据集具有兼容的维度和时间范围