【学习】auto-encoder、feature disentanglement、discrete representation、anomaly detection

最新推荐文章于 2024-08-30 09:43:57 发布
原创 最新推荐文章于 2024-08-30 09:43:57 发布 · 1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #人工智能

李宏毅深度学习

一、auto-encoder

1、auto-encoder

auto-encoder也是使用无标注的资料进行训练。
在这里插入图片描述
auto-encoder的概念：
跟cycle GAN的思想很像。encoder的输出vector叫embedding、representation或者code。我们输入高维的图片到encoder里面得到一个低维向量（dimension reduction高维转低维，这个low dim叫做bottleneck瓶颈），然后把这个低维向量用在下游任务。
在这里插入图片描述

在这里插入图片描述
为什么能够压缩复原图片呢？事实上对于图片来说，不是所有的像素分布都是能组成图片的，只有一些分布是表示图片的。所以我们可以可以用一些低纬度的矩阵表示高纬度的矩阵。
在这里插入图片描述
auto-encoder不是一个新的思想。这是以前的一些做法：
在这里插入图片描述

2、de-nosing auto-encoder

在原图上加上噪声之后输入到encoder里面，decoder还原的目标是还原原图，也就是要去掉噪声还原图片。，
BERT可以看成是一个de-noising auto-encoder：在这里插入图片描述

二、feature disentanglement

Representation includes information of different aspects表示包括不同方面的信息
一段文字/图片/声音信号放到auto-encoder的时候，embedding是混合很多种信号的。feature disentanglement要做的就是分辨出auto-encoder的embedding不同维度的不同信息。
在这里插入图片描述

在这里插入图片描述

1、应用：voice conversion声音转换

过去：要让两种声音说一样的话，这样不切实际。
现在：两种声音可以不说一样的话，不用同意的语音，就能实现这个转换。

在这里插入图片描述
而在feature disentanglement能够分辨内容和说话者信息，那样就能把内容和声音混合了。

在这里插入图片描述

三、discrete representation

embedding可以是真实数据表示的向量，也可以是二元向量、或者是one-hot向量。
在这里插入图片描述

1、VAVAE

把embedding（query）与一个codebook的向量（key）算相似度，最像的一个被选出来输入到decoder里面，然后三个一起训练：encoder、decoder、codebook。
在这里插入图片描述

embedding也可以是text。

把文章输入，得到类似的输出，中间的embedding可能是摘要。但是这是不真实的，因为摘要可能是人看不懂的，但是机器可以看懂的。
这些输入可以是大量的无标注文章。

在这里插入图片描述
所以我们要让他看人写的摘要，加入discriminator，用RL训练，就变成了cycle GAN了。
在这里插入图片描述
实现的比较好的：
在这里插入图片描述
表现的不太好：
在这里插入图片描述
总结：确实能把一段文字作为embedding。
还有可能是树结构：
在这里插入图片描述

四、更多应用

decoder跟generator很像，可以把D当初G用。
在这里插入图片描述

compression压缩

可以把embedding看出是压缩的结果。不过这个输出是会失真的（lossy）。
在这里插入图片描述

anomaly detection

给定一组训练数据{x1，x2，…，xN}，检测输入x是否类似于训练数据。
在这里插入图片描述
没有说某些东西一定是异常的。
在这里插入图片描述

异常检测的应用

信用卡诈骗检测、网络入侵检测、癌细胞检测。这样可以做分类任务吗？实际上异常检测是资料是难以收集的，比如异常资料难收集，我们通常只有一个类别的资料。作为分类器是不适合的，但是可以用auto-encoder训练。
在这里插入图片描述

auto-encoder

训练的时候希望输入输出越接近越好，但是测试的时候如果发现输入和输出之间的差距很大，那可能就是异常的资料，不能被重建出来，就能用来进行异常检测。
在这里插入图片描述

五、anomaly detection异常检测

给定一组训练数据{x1，x2，…，xN}，我们希望找到一个函数来检测输入x是否与训练数据相似。
在这里插入图片描述在这里插入图片描述
不能当做二元分类的问题：1、异常数据很多，无法被视为一个类别；2、很难找异常类别。

1、分类

（1）输入训练资料x，资料有标签y^，我们希望训练一个分类器识别这些数据并且能够输出“unknown”。
（2）没有标签，资料是干净的（所有资料都是正常的）或者资料是被污染的（混有一点异常资料）。

训练分类器

每个输入x都有一个标注表示这个x是什么。
在这里插入图片描述
输入x，不仅写出是什么，还输出一个置信度c。置信度门限λ，大于λ的是正常资料，小于的是异常资料。
在这里插入图片描述
如果是正常输入，那置信度很高；如果是异常图片，就会输出比较平均的分布。自信度是输出最高的分数。
在这里插入图片描述

置信度

训练直接输出置信度的网络（不仅可以输出分布还能输出置信度）。
在这里插入图片描述

示例框架

训练集:辛普森一家中人物的x幅图像。每个图像x由它的字符标记y^。训练一个分类器，我们可以从分类器中获得置信度得分c(x)。根据置信度与门限的比较判断这个输入是正常的还是异常的。

dev集:图像x标记每张图片x是否来自辛普森一家。数据有来自辛普森或者不是辛普森。我们可以计算f(x)的performance，使用dev集确定λ和其他超参数。
在这里插入图片描述

在这里插入图片描述
因为正常样本和异常样本分布悬殊，所以准确性不是一个好的衡量标准！一个系统可以有很高的准确率，但是什么都不做。
在这里插入图片描述
那用什么判断呢？
错误：正常资料被判定为异常资料（错误警报）；异常资料被判断为正常资料（missing）。
在这里插入图片描述
在这里插入图片描述
这两个移动λ的系统哪个更好？取决于我们认为missing和错误警报哪个更重要。
在这里插入图片描述
一些评估指标考虑排名。

可能问题

区分猫和狗的类别，不是这个类别的放在线上，其他老虎？
在这里插入图片描述
变黄之后，准确度高！
在这里插入图片描述
学习分类器：对异常给出低置信度分数
如何获得异常？通过生成模型生成？
在这里插入图片描述

无标签资料

在这里插入图片描述
给定一组训练数据{x1，x2，…，xN，我们希望找到一个函数来检测输入x是否与训练数据相似。
在这里插入图片描述
在没有分类器的时候可以使用P（x）
在这里插入图片描述
在这里插入图片描述
我们还是需要一个数值化的表示：

极大似然

假设数据点是从概率密度函数fθ (x)中采样的，θ决定了fθ (x)的形状，θ未知，可从数据中找到。
在这里插入图片描述
输入:向量x，
输出:决定函数形状的抽样概率密度x
θ决定均值u和协方差矩阵E
高斯分布里面，取样大多出于u附近。
在这里插入图片描述
二维比较简单，增加：
在这里插入图片描述
可以用auto-encoder做
在这里插入图片描述
在这里插入图片描述

Raphael9900
关注
[MICCAI2019] Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion
xby的学习笔记存档处
11-02 1732
Cheng chen，CUHK Intro 针对分割问题中的模态缺失现象。利用 disentanglement的思路，将多模态的输入影像特征，解耦为modality-specific 以及 modality-invariant。在Brats18上进行实验。 Method 网络框架如下：EcE^cEc编码脑影像的内容信息，得到content code，EaE^aEa编码模态信息，得到appeara...
Auto-encoder （李宏毅2022
linyuxi_loretta的博客
11-01 427
那其实还有更多疯狂的想法，Representation 甚至不一定要是向量，举例来说，它也可以是一段文字。假设我们现在要做文字的 Auto-Encoder，概念和语音、影像的没有什么不同，但我们现在可以不用向量来当做 Embedding， 可以是一串文字。如果把 Embedding 变成一串文字有什么好处呢？
β-TCVAE （Isolating Sources of Disentanglement in Variational Autoencoders）
林小川的博客
09-14 4475
论文：https://arxiv.org/pdf/1802.04942.pdf 摘要： 论文将 ELBO(evidence lower bound)分解成多项，用于调整隐变量之间的关系，提出 β-TCVAE 算法，是 β-VAE 的加强和替换版本，并且在训练中不增加任何超参数。论文进一步提出 disentanglement 的规则的无分类方法 MIG( mutaul information g...
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
林宋的搬砖流水账
09-12 221
会议：2021 interspeech 作者：Manh Luong 单位：Vinai Research, Hanoi, Vietnam 代码实现 文章目录abstractmethod abstract 基于VAE的说话人特征和内容的解耦，认为同一说话人两句话中的说话人信息是一样的，内容是不一样的。说话人特征+内容=一句话包含的信息。 method # style_mu, style_logvar是同一个fc输出的维度split结果 # content_mu1, content_logvar1是同一个fc输出
【Bias 04】Adversarial Feature Disentanglement for Place Recognition Across Changing Appearance
qq_40731332的博客
11-22 563
Abstract & Introduction Visual place recognition: 给不同环境下的一系列图片，找到一对相同位置图片的联系。特征提取是这个任务的关键，因为appearance是改变的，需要找到不变的特征。 本文提出分离domain-unrelated feature（place feature）和domain-related feature（appearance feature），其中domain-unrelated feature去place recognitio
信息隐藏|Image Disentanglement Autoencoder for Steganography without Embedding实现无嵌入隐写的 图像无纠缠自动隐写器
qq_44654715的博客
10-24 891
为了进一步提高隐写安全性的合成风格多样性，设计了一种自适应机制，根据不同的提取精度要求，将秘密消息映射到结构表示。将秘密划分为比特段，将每个段对应的十进制m映射为浮点值z，调整指数，可以实现不同恢复水平对应的灵活隐藏容量。两种表示，利用结构表示的稳定性来改进秘密信息提取，同时通过随机化纹理表示来增加合成多样性以增强隐写安全性。转化成SM，SM与TM~U（-1,1）结合，经由G生成XM（隐写图像），然后传输到接收器。一种新兴的概念，它不直接将秘密信息嵌入到载体中，从而隐藏秘密信息，因此具有独特的优势，可。
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2578
李宏毅机器学习--self-supervised--BERT和GPT
机器学习笔记10_Self-supervised Learning
爱技术的小白
03-22 409
本文是李宏毅机器学习的笔记，这是第十节，介绍了Bert、GPT、Auto-encoder、Anomaly Detection等自监督学习技术。 文章目录1. Bert & GPTHow to use bert 1. Bert & GPT 监督学习和自监督学习的区别如下所示： 监督学习由数据及其标签进行模型训练。而自监督学习只有数据进行模型训练，也就是说标签不是标注出来的，而是从输入数据中获取到的。 例如使用Masking Input技术进行训练，通过盖住输入数据中的一个字，然后然后模型预
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 4497
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
【学习笔记】李宏毅2021春机器学习课程第8.2节：自编码器（二）
Harryline的博客
08-05 1297
文章目录1 用自编码器实现特征解耦2 离散隐变量表示3 用自编码器生成文章摘要4 自编码器的更多应用4.1 Decoder 作为生成器4.2 压缩4.3 异常检测 1 用自编码器实现特征解耦 Auto-Encoder 还有一个有意思的应用：Feature Disentanglement，也就是特征解耦。 那为什么会有 Disentangle 这个议题呢，我们来想想 Auto-Encoder 它在做的事情是什么。 如果是图片的话，Auto-Encoder 就是把一张图片变成一个 Embedding，再把
Feature_Disentangler:模型中Domain2Vector中提出的特征解缠结的实现
03-09
Feature_Disentangler 模型中Domain2Vector中提出的特征解缠结的实现
Disentangled Representations 学习与应用指南
最新发布
gitblog_01066的博客
08-30 508
Disentangled Representations 学习与应用指南 项目介绍 Disentanglement 是机器学习领域的一个热门话题，旨在学习数据表示，使得单一维度的变化对应于数据中可解释的、独立的因素。Disent 是一个由 Nick Michlo 开发的开源库，它提供了多种算法来促进深度学习模型对数据进行解纠缠表示。这个项目特别关注可复现性、清晰的文档以及易于集成到现有的研究与应...
阅读笔记之《DisenQNet: Disentangled Representation Learning for Educational Questions》
qq_43481435的博客
10-20 2367
《DisenQNet: Disentangled Representation Learning forEducational Questions》 DisenQNet:教育问题的解偶表示学习 来源 数据挖掘领域顶会ACM Knowledge Discovery and Data Mining（KDD） 作者 Zhenya Huang（中国科学技术大学） 研究动机/背景（Motivation） 1.教育问题的基本表示学习是在线学习系统领域中的一个基本问题，它可以用于如问题的难度分析、相似度分析等应用： 如
《LEARNING DISENTANGLED FEATURE REPRESENTATIONS FOR SPEECH ENHANCEMENT VIA ADVERSARIAL TRAINING》
qq_46079584的博客
01-17 1247
本文的作者是Nana Hou , Chenglin Xu , Eng Siong Chng , Haizhou Li；School of Computer Science and Engineering, Nanyang Technological University, Singapore，Department of Electrical and Computer Engineering, National University of Singapore, Singapore，Temasek Labora
论文阅读：AlignDet：Revisiting Feature Alignment for One-stage Object Detection
j879159541的博客
10-23 2038
文章目录1、论文总述 2、Feature Alignment in Object Detection 参考文献 1、论文总述 这篇论文的出发点是one-stage检测器中anchor与feature的misalignment问题，two-stage中没有这个问题是因为它在第二阶段有ROI-Pooling或者ROI-Align操作，即将proposals与feature对齐之后再进行一次回归分类...
[datawhale202210]李宏毅机器学习2021：自编码器
qq_40990057的博客
10-10 1470
本次task了解了自编码器的原理。自编码器可以视为是一种自监督学习，由三个主要部分组成，encoder，中间的embedding向量，和decoder。自编码器的的核心思想是化繁为简。常将中间的embedding向量作为后续任务的输入。 自编码器的常见变体包括，de-noising auto-encoder，前面加噪声，要求decoder还原出加噪声前的状态，可以类比BERTmask掉词的用途。Feature disentanglement，特征解构，使得特征具有具体意义。Discrete Latent
Explained: A Style-Based Generator Architecture for GANs （StyleGAN）
Joselynzhao
01-04 722
文章目录BackgroundHow StyleGAN worksMapping Network 生成图像最大的调整是对输出的控制。 one of their main challenges is controlling their output, i.e. changing specific features such pose, face shape and hair style in an image of a face. A Style-Based Generator Architecture f
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Auto Encoder 自编码器 + PyTorch实战
热门推荐
知不足而奋进，望远山而前行
10-10 2万+
在自编码器中，如果我们输入一张图片，它会将图片降维成一个低维向量，而这个低维向量里就包含了图片的重要信息（可能是图片的颜色、图片的类型等等）Feature Disentanglement 特征解耦的目的是：从Encoder压缩得到的低维向量中，得到哪些数据对应什么特征信息。例如，100维的向量，我们通过特征解耦得出前50维代表图片的颜色，后50维代表图片的类型。给定一个数据集，再给定一个新数据，Anomaly Detector可以检测出新数据是否与数据集中的数据比较相似，如果不是，则判定其为异常数据。
迁移性好、多用途，港中文提出特征分离的无监督人类三维姿态表征
我爱计算机视觉
08-22 726
本文将介绍一种基于特征分离的通用人类姿态特征的学习算法Unsupervised Human 3D Pose Representation with Viewpoint and Pose...
AUTO-ENCODER
09-05
引用: Auto-encoder是一种深度学习模型，用于将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。在降维方面，PCA会将不同类别的数据混合在一起，而auto-encoder则可以将它们分开。除了降维之外，auto-encoder还有其他用途，比如图片搜索。 引用: 训练一个auto-encoder的过程通常会先固定一些权重参数，然后逐层训练多个自编码器，每个自编码器的输入和输出维度逐渐逼近目标维度。最后，可以使用反向传播来微调网络参数。现在也可以不进行预训练，直接训练auto-encoder。此外，auto-encoder还可以与卷积神经网络（CNN）一起使用。 引用: 特征区分技术是指在auto-encoder中，通过编码器获取的Embedding向量中，可以区分出不同输入数据的特征信息。比如，对于语音输入，可以分别提取出语音内容和说话者的特征。这就是Feature Disentangle的目标。 根据李宏毅老师的讲解，auto-encoder是一种用于降维、重构和特征提取的深度学习模型。它可以将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。除了降维之外，auto-encoder还可以用于图片搜索等任务。训练auto-encoder时，可以使用预训练和微调的方法，也可以直接进行训练。此外，auto-encoder还可以与卷积神经网络（CNN）结合使用。特征区分技术可以用于auto-encoder中，用于提取不同输入数据的特征信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值