文献阅读—GAIN：Missing Data Imputation using Generative Adversarial Nets

原创 已于 2022-04-21 16:52:23 修改 · 6.2k 阅读 · 32 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2021-11-30 13:15:18 首次发布

文章提出了一种填补缺失数据的算法—GAIN。生成器G观测一些真实数据，并用真实数据预测确实数据，输出完整的数据；判别器D试图去判断完整的数据中，哪些是观测到的真实值，哪些是填补的值。给D提供一些额外的提示信息，保证G可以学习期望的分布。提示向量向D透露了原始数据的部分信息。在多个数据集上测试了算法，算法效果较好。

一.引言

1.缺失数据可以分成三类：

        MCAR：完全随机缺失，数据的缺失不依赖于任何不完全变量和完全变量。

        MAR：随机缺失，数据的缺失不是完全随机的，依赖于其他完全变量。

        MNAR：完全非随机缺失，数据的缺失不依俩于不完全变量自身。

文章数据是基于MCAR的。

2.比较先进的填补方法：MICE、MissForest、matrix completion、Expectation Maximization、DAE 、GAN等。

        但是现有的方法存在各种缺陷。(Garc´ıa-Laencina et al., 2010)的方法加设了一个分布，但数据类型是混合型、连续变量时不适用。（Vincent et al., 2008）的DAE算法，实践效果好，但训练过程需要完整数据。(Gondara &Wang,2017)的DAE算法不需要完整数据，但它只能利用观察到的部分去学习数据的表示。

        论文提出了GAIN算法，它是GAN算法的推广。核心就是对抗，生成器要使判别器的误判率最大，判别器要使分类误差最小。

二、问题描述

 \chi = \chi _{1}\times \chi _{2}\times ...\times \chi _{d}  —  d维空间

X = (X_{1},...,X_{d})  —  数据向量（取值于\chi的随机向量）

最低0.47元/天 解锁文章
GAIN: Missing Data Imputation using Generative Adversarial Nets（基于生成对抗网络的缺失数据填补）论文详解
Wendy的博客
05-26 2749
目录一、背景分析1.1 缺失数据1.2 填补算法二、GAIN2.1 GAIN网络架构2.2 符号描述（Symbol Description）2.3 生成器模型2.4 判别器模型2.5 提示向量Hint三、算法流程四、总结 我们一直被缺失的数据包围着。长期以来，统计分析中因数据缺失而产生的问题一直被掩盖着。这些时代现在正在慢慢结束。在过去的几十年中，处理缺失数据的一系列技术已经大大扩展。本专题将介绍利用生成对抗网络进行缺失数据填补，欢迎关注。 一、背景分析 原始论文链接：GAIN: Missing Data
【论文阅读】GAIN: Missing Data Imputation using Generative Adversarial Nets
weixin_45142381的博客
11-14 1400
【论文阅读】GAIN: Missing Data Imputation using Generative Adversarial Nets
GAIN:生成对抗式插补网络（GAIN）的代码库-ICML 2018
05-23
“生成对抗式插补网络（GAIN）”的代码库 作者：尹振成，詹姆斯·乔登，米哈埃拉·范德沙尔 论文：Jinsung Yoon，James Jordon，Mihaela van der Schaar，“ GAIN：使用生成对抗网络进行数据插补”，国际机器学习会议（ICML），2018年。 论文链接： : 联络人： 该目录包含使用两个UCI数据集进行插补的GAIN框架的实现。 UCI信（ ） UCI垃圾邮件（ ） 要运行有关GAIN框架的培训和评估管道，只需运行python3 -m main_letter_spam.py。 请注意，任何模型体系结构都可以用作生成器和鉴别器模型，例如多层感知器或CNN。 命令输入： data_name：字母或垃圾邮件 miss_rate：缺少组件的概率 batch_size：批量大小 hint_rate：提示率 alpha：超参数 迭代：
用GAIN来补充缺失数据之论文篇（一）
YUxuaN0721的博客
07-22 4416
原文章 如下图是算法的图示： 在这个算法中，我们定义如下几个变量： 通过原始数据保留未缺失的数据得到：  X~={Xiif Mi =1∗otherwise \ \tilde X = \begin{cases} X_i&\text{if $M_i$ =1}\\ *&\text otherwise \end{cases}  X~={Xi​∗​if Mi​ =1otherwise​ 接下来通过训练生成器通过随机变量Z来填补： Xˉ=G(X
GAIN-GTEx：带有生成对抗性插补网络的基因表达插补
02-13
带有生成对抗性插补网络（GAIN-GTEx）的基因表达插补 该存储库包含论文《的代码 作者： RamonViñas，Tiago Azevedo，Eric R. Gamazon和PietroLiò 抽象的 基本生物学意义的问题是，基因子集的表达可在多大程度上恢复完整的转录组，这对生物学发现和临床应用具有重要意义。 为了解决这一挑战，我们提出了基于增益对抗插补网络的基因表达插补方法GAIN-GTEx。 为了提高我们方法的适用性，我们利用了GTEx v8的数据，GTEx v8是一种参考资源，已从多种人体组织中生成了完整的转录组。 我们将模型与几种标准和最新的插补方法进行了比较，结果表明，GAIN-GTEx在预测性能和运行时间方面均明显优越。 此外，我们的结果表明，在不同缺失水平上，来自3种癌症类型的RNA-Seq数据具有很强的概括性。 我们的工作可以促进将大规模RNA生物存储库经济有效地整合到
GAIN: Missing Data Imputation using Generative Adversarial Nets学习笔记
weixin_42914912的博客
08-15 8470
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
论文解析八： GAN：Generative Adversarial Nets（生成对抗网络）
kaszxc的博客
10-23 1744
文章提出了一个新的framework（framework通常是一个比较大的模型）用来估计生成模型，通过对抗的过程，同时会训练两个模型**生成模型G：**用来抓取整个数据的分布（生成模型就是要对整个数据的分布进行建模，使得能够生成各种分布，这里的分布就是指的生成图片、文字或者电影等，在统计学中，整个世界是通过采样不同的分布来得到的，所以如果想要生成东西，就应该抓取整个数据的分布）**辨别模型D：**用来估计样本到底是从真正的数据生成出来的还是来自生成模型生成出来的。
Gain more than oracle 2
12-08
doc for oracle to learn.
论文解读：Missing data imputation with adversarially-trained graph convolutional network
tang1234v5的博客
07-22 2731
标题： Missing data imputation with adversarially-trained graph convolutional networks 用对抗训练图卷积网络实现缺失数据填充 基本信息： Received 6 May 2019, Revised 25 May 2020, Accepted 4 June 2020, Available online 13 June 2020. Neural Networks 原文链接：https://www.sciencedirect.com/s
GAIN: Missing Data Imputation using Generative Adversarial Nets 中文翻译
最新发布
自闭啦~~
04-02 868
我们提出了一种新颖的缺失数据插补方法，通过适应著名的生成对抗网络（GAN）框架。因而，我们将我们的方法称为生成对抗插补网络（GAIN）。生成器（G）观察到真实数据向量的一些组成部分，基于实际观察到的内容插补缺失的组成部分，并输出一个完整的向量。然后，鉴别器（D）接收一个完整的向量，并尝试判断哪些组成部分是实际观察到的，哪些是插补的。为了确保D迫使G学习所需的分布，我们以提示向量的形式为D提供了一些额外的信息。这个提示向D透露了关于原始样本缺失性的部分信息，D利用这些信息集中注意力于特定组成部分的插补质量。这
python 缺失值处理的方法（Imputation）
01-01
一、缺失值的处理方法 由于各种各样的原因，真实世界中的许多数据集都包含缺失数据，这些数据经常被编码成空格、nans或者是其他的占位符。但是这样的数据集并不能被scikit – learn算法兼容，因为大多数的学习算法都会默认数组中的元素都是数值，因此素偶有的元素都有自己的代表意义。 使用不完整的数据集的一个基本策略就是舍弃掉整行或者整列包含缺失值的数值，但是这样处理会浪费大量有价值的数据。下面是处理缺失值的常用方法： 1.忽略元组 当缺少类别标签时通常这样做（假定挖掘任务涉及分类时），除非元组有多个属性缺失值，否则该方法不是很有效。当每个属性缺少值的百分比变化很大时，它的性能特别差。 2.人工
基于生成对抗网络的缺失数据填补方法【GAIN的tensorflow版本（完整版）】
07-02
GAIN的tensorflow版本，包括GAIN、SGAIN、WSGAIN-CP、WSGAIN-GP，包含十个数据集和四种缺失数据填补方法，关于GAIN的pytorch版本，可以参考资源：https://download.youkuaiyun.com/download/didi_ya/85864128
GAIN
热门推荐
Forlogenの解忧杂货铺
05-06 1万+
论文地址：https://arxiv.org/abs/1806.02920 论文GitHub：https://github.com/jsyoon0823/GAIN 收录：ICML2018 总览 这篇论文中作者提出了一种使用GAN填补缺失值的新框架GAIN，基本原理和标准的GAN相似，不同的在于根据具体问题所做的架构方面的改变。在GAIN中主要包括以下三个部分： Generator，G：它用...
使用python进行缺失数据估算(missing data imputation in python)
goHiking的博客
04-30 4849
@TOC(Missing data imputation in python) Missing data imputation with Impyute 在缺失值填充中，python中有一些开源的方法。 这些方法主要是包括： 删除法（most searched in google,but do nothing to impute the missing data），均值法，回归法，KNN,MICE...
【论文阅读】An Experimental Survey of Missing Data Imputation Algorithms
weixin_45142381的博客
11-22 2296
【论文阅读】An Experimental Survey of Missing Data Imputation Algorithms
论文笔记：Generative Adversarial Nets
super_chicken的博客
02-27 770
Generative Adversarial Nets 概念 提出了一种模拟二人博弈的对抗模型，对抗双方分别为： 生成模型G：尽量使生成数据与训练集接近，使D无法区分 判别模型D：学习判断数据来自训练集还是由G产生 本文中用两个多层感知机作为生成模型和判别模型，生成模型加入了随机噪声。 对抗网络 生成模型，在参数Θg条件下根据噪音z生成数据。 判别模型，判断参数Θd条件下...
data imputation —— Python Data Science Cookbook
you1314520me的专栏
02-10 1179
data imputation
Generative Adversarial Nets
tearsness的博客
03-11 333
论文地址：Generative Adversarial Networks 源码地址：GAN in Tensorflow
Derived Missing Value Imputation
02-28
### 缺失值填补方法 处理数据集中缺失值的一种常见策略是通过派生变量来进行填充。这种方法不仅能够保留更多的样本量，还能提供关于缺失模式的信息。常见的派生缺失值填补技术包括均值/中位数/众数替换、K近邻插补以及基于模型的预测。 #### 均值/中位数/众数替换 对于数值型特征，可以采用该列中的平均值或中位数来替代缺失值；而对于分类特征，则通常使用最频繁出现的类别即众数进行填充[^1]。 ```python import pandas as pd from sklearn.impute import SimpleImputer # 创建一个简单的DataFrame用于演示 data = {'Age': [25, None, 30], 'City': ['New York', 'Los Angeles', None]} df = pd.DataFrame(data) # 使用SimpleImputer类实现均值和众数填充 age_imputer = SimpleImputer(strategy='mean') city_imputer = SimpleImputer(strategy='most_frequent') df['Age'] = age_imputer.fit_transform(df[['Age']]) df['City'] = city_imputer.fit_transform(df[['City']]) print(df) ``` #### K近邻(KNN) 插补法 此方法利用距离度量找到最近邻居并据此估计缺失值。它适用于具有多个输入特性的复杂情况，在保持原始分布的同时有效地填补空缺位置。 ```python from sklearn.impute import KNNImputer knn_imputer = KNNImputer(n_neighbors=2) imputed_data_knn = knn_imputer.fit_transform([[None, 2], [1, 3], [4, None]]) print(imputed_data_knn) ``` #### 基于模型的预测 当存在较强的相关关系时，可以通过构建回归或其他类型的机器学习模型来预测缺失的数据点。这需要先分离含有完整记录的部分作为训练集，并以此为基础建立预测器去推断其他部分未知的位置。 ```python from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.linear_model import BayesianRidge iterative_imputer = IterativeImputer(estimator=BayesianRidge(), max_iter=10, random_state=0) X_full = iterative_imputer.fit_transform(X_incomplete) ``` 以上几种方式都是有效的派生缺失值填补手段，具体选择取决于实际应用场景下的需求与特性分析结果。
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值