GAN生成式对抗网络2--李宏毅机器学习笔记

已于 2025-04-15 09:37:18 修改
阅读量877 收藏 15
点赞数 26
文章标签： 生成对抗网络 人工智能 神经网络 机器学习 深度学习
于 2025-03-29 18:25:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/knofrab/article/details/146703586
版权

个人学习笔记，如有错误欢迎指正，也欢迎交流，其他笔记见个人空间 

GAN 的训练难点

  • 训练不稳定：Discriminator和Generator需要“棋逢对手” ，否则可能无法获取有用的梯度；

  • 超参数敏感：训练非常依赖学习率、batch size、初始化等；

  • 模式坍塌（Mode Collapse）：Generator 只生成一种样式的图像，缺乏多样性；

  • 特别难训练文本生成：梯度无法直接传导至离散输出（token），常需强化学习（如SeqGAN）配合。

典型 GAN 架构和改进版本

1. DCGAN（Deep Convolutional GAN）

  • 使用卷积结构替代全连接层；

  • 对图像生成效果显著提升。

2. WGAN（Wasserstein GAN）

  • 使用 Wasserstein 距离代替 JS 散度；

  • 优化过程更稳定，避免梯度消失。

3. Conditional GAN（cGAN）

  • 允许给定条件（如类别标签、文字说明）生成特定样式图像；

  • 应用于文本生成图像（Text-to-Image）、图像风格转换等。

4. Sequence GAN、ScratchGAN

  • 解决离散序列（如文本）生成的难题；

  • 使用强化学习+GAN，从头训练文字生成网络。

多样性问题与风险

1. Mode Collapse（模式坍塌）

  • Generator 总是生成几乎相同的图像；

  • 容易“骗过”分类器，但不具备多样性；

2.Mode Dropping（模式遗漏）

  • Generator 忽略某些真实分布中的子类别（如图中右边的星星）；

  • 多样性看似正常，但实际“偏科”严重（如肤色单一）；

  • 更难检测，常常漏掉数据的“长尾”。

GAN的生成效果评估

一、评估生成器好坏的难点

GAN 的 Generator 训练完成后，我们需要判断它生成的图像到底“好不好”。但这不是一件简单的事，原因包括：

  1. 人眼判断不客观：早期的 GAN 论文几乎都是靠“放几张图让人看”，没有量化指标；

  2. 缺乏统一标准：不同任务、不同应用场景对“好”的定义也不同；

  3. 可能只是“背”住了训练数据（记忆式生成，Memory GAN），而非创造新样本。

二、几种常见评估方法

1. 视觉分类器分布评估法（直觉质量评估）

  • 使用预训练好的 图像分类器（如 InceptionNet） 来判断生成图像的“可识别度”。

  • 给一张生成图 y，分类器输出概率分布 P(c|y)。

  • 越集中的分布表示分类器越“有信心”，图像更清晰，质量可能越高；

  • 若分布很均匀（混乱），说明图像可能是“四不像”。

 2. 代表图像质量的指标：Inception Score (IS)

       平均完 后的结果如果是 非常平坦 的， 代表说 也许 多样性 是足够的

  • 同时衡量了“图像清晰度”与“类别多样性”。注意它和分类器评估方法并不冲突，视觉分类器的评估方法看的是单张图片丢进分类器后的输出分布是否集中。IS看的是所有生成图像整体的分类分布是否均匀。两者评估的范围不同，不能混为一谈

3.Fréchet Inception Distance（FID）：

  • 使用 Inception 的特征向量（非最终分类，进入 Softmax 之前的 Hidden Layer 的输出），视为高维高斯分布；

  • 比较真实图像与生成图像特征分布的差异；

  • FID越小越好；

  • 更稳定，也考虑多样性；

  • 缺点：高斯假设、计算量大。

Conditional GAN 的应用与训练

1. 文本到图像（文生图）

  • 文字描述作为 Condition 输入；

  • 需标签配对数据（如“红头发+绿眼睛”）；

  • 训练 Discriminator 判断图片与文字是否匹配（注意需要成对的资料）。至于不成对的资料的机器学习，比如转换文件格式、转换文字语气等可以使用Cycle GAN，这里就不多写了感觉对我这个方向没啥用

2. 图像到图像（图生图）

  • 如黑白图上色、素描转实景、白天变夜晚等；

  • 可结合 Supervised Loss + GAN Loss；

3. 声音到图像（Sound-to-Image）

  • 输入狗叫声 => 生成狗图；

  • 利用视频数据对齐声音与图像，训练 cGAN；

  • 示例：溪水声变成瀑布，快艇声带动水花强度变化。

深度学习GAN生成对抗网络入门--李宏毅网课笔记
qq_43426078的博客
03-03 611
Class one GAN网络基本思想 由生成模型（generator）和判别模型（discriminator）组成。 generator接收输入向量，输出图片或文字。 discriminator接收输入的图片或文字，输出scalar，scalar越大说明输入越真实。 算法过程 fix generator ,and update discriminator D： 标记database中的图像为1，generated objects为0来训练D。使得判别模型能够给实际对象较高的分数，而给生成对象较低的分数。
【第十一周】李宏毅机器学习笔记09：生成式对抗网络1
qq_30043925的博客
09-08 890
本周学习了生成式对抗网络，了解了生成器和判别器的基础原理，同时学习了 GAN 的训练过程和算法思想。最后了解了 Wasserstein Distance，学习了 WGAN 的一点基础。生成对抗网络（GAN）由生成器和判别器两部分组成：生成器学习生成类似真实数据的样本，而判别器则负责区分真实数据与生成的数据。传统的GAN采用最小最大博弈框架，其中生成器试图“欺骗”判别器，使它难以分辨真假，而判别器则努力准确地区分真实数据和生成数据。
GAN生成对抗网络1--李宏毅机器学习笔记
knofrab的博客
03-27 398
或在 unconditional 情况下 Y=G(Z)Y = G(Z)Y=G(Z)以训练画图为例，只是训练 Generator 不够 → 难以衡量输出是否“像”如果强迫模型输出一个固定结果，反而会“平均”所有可能，导致输出模糊或不真实。循环训练：G、D 不断“进化”，如同捕食者与拟态动物的对抗演化。” Discriminator，让其认为生成图是“真”的。用 D 的输出作为“评分”，反向传播优化 G。输入图像，输出一个分数（越大代表越真实）用真实图像标记为 1，生成图像标记为 0。
P11机器学习--李宏毅笔记GAN（对抗生成网络）
u013373155的博客
11-13 1294
GAN的基本概念 GAN的训练方法 训练GAN的目标 Model Collapse Model Dropping 计算多样性 Conditional GAN Condtitional GAN+Supervised learing cycle Gan
台大李宏毅生成式对抗网络(GAN)笔记-2
qq_51800276的博客
11-10 222
本篇笔记主要介绍Conditional Generation by GAN
[李宏毅老师深度学习视频] 生成式对抗网络(GAN)【持续更新】
Bessie_Lee
08-26 1516
在李宏毅老师的视频中，并没有一开始就讲解什么是GAN，他先引入一个问题，为什么会有生成式对抗网络呢？他采用了一个小游戏进行介绍。游戏说明：一个小精灵可以从一个出发点出发到任意画面的位置去，我们根据小精灵的到达位置去训练一个network模型，从而预测到小精灵的位置。然而，出现了一个很离谱的画面：小精灵在转弯的时候居然分裂成了两个，还带上了虚影（？？这是什么离谱位置，转弯不成，直接分裂人物？？）为什么会有这种分裂的问题出现呢？...
2020李宏毅机器学习笔记——25. GAN（生成对抗网络）
weixin_44790306的博客
09-04 1688
Generative Adversarial Network(生成对抗网络) 文章目录摘要0引言1. Basic Idea of GAN（GAN的基本思想）1.1 Generation（生成）1.2 Discriminator（判别器）1.3 生成器和判别器的关系—对抗学习1.4 Algorithm 摘要 本章主要是在讲解GAN的基本思想， 0引言 自2014年Ian Goodfellow 提出了GAN（Generative Adversarial Network）以来，对GAN的研究可谓是如火如荼。针对不
Auto-Encoder --李宏毅机器学习笔记
knofrab的博客
04-13 877
Auto-Encoder（自编码器）是一种典型的Encoder和将输入数据压缩为低维表示Decoder​从低维表示重建原始数据最小化输入与输出之间的重建误差本质是“重建（Reconstruction）”，即让输出尽可能还原原始输入Auto-Encoder 只依赖无标签数据，典型的，属于 Pre-Training 方法的一种与 BERT、GPT 相比：BERT 做填空题、GPT 做文本续写，而 Auto-Encoder 做输入重建。尽管方式不同，但目标一致：从无标签数据中学习有效表示。
李宏毅机器学习笔记第14周_生成式对抗网络(GAN)
peaunt1的博客
07-16 1013
GAN
【学习笔记】李宏毅2021春机器学习课程第6.1节：生成式对抗网络 GAN（一）
Harryline的博客
07-23 1037
文章目录1 能够作为生成器的神经网络 GAN2 动漫人物头像生成3 判别器（Discriminator）4 从自然选择看GAN的基本思想5 GAN 的具体实现过程步骤一： 固定 generator G 的参数，只更新discriminator D步骤二： 固定 discriminator D 的参数，只更新generator G6 动漫头像生成的具体实验结果 1 能够作为生成器的神经网络 GAN 生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型
【第十二周】李宏毅机器学习笔记10：生成式对抗网络2
qq_30043925的博客
09-15 732
本周主要学习了上周关于生成式对抗网络的剩余知识，了解了为什么 GAN 难以训练。此外，还学习了如何去评估 GAN 的性能以及在训练 GAN 过程中比较容易遇到的问题。最后还学习了条件生成对抗网络以及如何实现在非配对数据中学习。生成对抗网络（GANs）虽然强大且具有广泛应用潜力，但由于其独特的架构和训练方式，存在一些挑战使其训练变得困难。
李宏毅机器学习作业6-使用GAN生成动漫人物脸
iwill323的博客
11-17 2919
使用GAN生成动漫人物脸
WT2000T专业录音芯片：破解普通录音设备信息留存、合规安全与远程协作三大难题
Waytronic_的博客
04-23 1005
在快节奏的现代商业环境中，会议是企业决策、创意碰撞和战略部署的核心场景。然而，传统会议记录方式常面临效率低、信息遗漏、回溯困难等痛点。如何确保会议内容被精准记录并高效利用？会议室专用录音芯片应运而生，以智能化、高保真、安全便捷的特性，成为企业高效办公的“隐形助手”。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2192
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
人工智能(AI)对网络管理的影响
ITmoster的博客
04-25 1130
AI正从工具演变为网络管理的“核心大脑”，其价值不仅在于效率提升，更在于为复杂问题提供系统性解决方案。
tokenizer的用法
大多_C的博客
04-25 634
可以基于现有 tokenizer 进行修改，如添加自定义的 token（tokenizer.add_tokens([“新词”])），从而扩展词汇表，此时可调用 tokenizer.resize_token_embeddings(model) 更新模型嵌入层。]}，有时还会包含其他信息比如 “token_type_ids”、“offset_mapping”（用于对齐）等。• return_tensors: 指定返回类型，如 “pt”（PyTorch tensor）、“tf” 或 “np”（NumPy 数组）
AI 工程师崛起：科技浪潮下的新兴力量
2401_86652632的博客
04-25 956
在当今科技迅猛发展的时代，人工智能（AI）无疑是最热门的领域之一。随着基础模型的涌现和开源 / API 的普及，一种新兴的职业 ——AI 工程师，正逐渐崭露头角。他们在 AI 技术的应用和开发中扮演着关键角色，其崛起背后有着诸多深刻的原因，并且正在重塑整个科技行业的格局。今天，就让我们深入探究 AI 工程师这一职业的发展脉络。
GroundVLP论文精读
最新发布
记录知识，分享知识
04-27 361
视觉定位是一项关键的视觉-语言任务，要求模型根据查询捕捉视觉上下文中的对象及其空间和属性信息。然而，由于视觉接地任务的标注数据受限于耗时且劳动密集的标注过程，导致训练模型的泛化能力受限，难以应对更广泛的领域。为解决这一挑战，我们提出了 GroundVLP，一种简单但有效的零样本方法，利用从图像-文本对和纯对象检测数据中获取的视觉接地能力，这两者相比视觉接地标注数据更易获取且覆盖更广的领域。GroundVLP 提出了一种融合机制，结合 GradCAM 的热图和开放词汇检测器的对象提议。
人工智能与机器学习：二元分类决策树构建指南
AI人工智能的学习之路
04-24 991
本文围绕构建用于二元分类的决策树展开。先介绍决策树的概念、结构及元素，以邮件欺诈检测为例说明其工作原理。接着讲解构建决策树的基尼不纯度指标，包括分类和连续变量的计算方法。最后给出Python实现，定义 DIYClassificationDecisionTree 类，包含超参数设置、数据划分、拟合及构建树等方法，助读者掌握决策树构建技巧。
李宏毅机器学习笔记GAN
02-11
### 李宏毅机器学习笔记中的GAN相关内容 #### GAN基本概念 生成对抗网络（Generative Adversarial Networks, GANs）由两个主要部分组成：生成器（Generator）和判别器（Discriminator）。生成器的目标是从随机噪声中生成逼真的样本，而判别器则试图区分这些生成的样本与真实的数据样本。两者通过相互竞争的方式共同训练，最终达到纳什均衡状态，在此状态下生成器能够生成几乎无法被识别出来的假样本[^4]。 #### 条件GAN的应用扩展 条件GAN是在标准GAN的基础上进行了改进，允许模型基于特定条件来控制生成的内容。具体而言，除了提供给生成器和判别器的标准输入外，还会附加一段描述期望特性的向量作为额外输入。这段向量可以是由文本转换而成的表示形式，从而指导生成过程按照指定的主题或风格进行创作。例如，可以通过输入一段文字说明让GAN创建具有相应属性的人脸图片；同样地，也支持利用语音信号引导图像合成任务。 #### 训练技巧与优化策略 为了提高GAN及其变体的有效性和稳定性，研究者们提出了多种辅助技术： - **Learning Rate Scheduling**: 动态调整学习率有助于改善收敛性能并防止过拟合现象的发生。一种常见的做法是采用Warm-Up机制——初期保持较低水平的学习速率以便充分探索损失曲面特性，随后逐步增加直至某个峰值后再缓慢降低，以此促进全局最优解的发现[^5]。 - **Regularization Methods**: 正则化手段如Dropout对于增强泛化能力至关重要。特别是在卷积神经网络架构下运用时，不仅能有效缓解过拟合风险，还能促使特征提取更加鲁棒可靠[^3]. ```python import torch.nn as nn class Generator(nn.Module): def __init__(self, input_dim=100, output_channels=3): super(Generator, self).__init__() # 定义生成器结构... def forward(self, z, condition_vector=None): # 实现前向传播逻辑... pass class Discriminator(nn.Module): def __init__(self, input_channels=3): super(Discriminator, self).__init__() # 定义判别器结构... def forward(self, image, condition_vector=None): # 实现前向传播逻辑... pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值