深度卷积对抗神经网络 基础 第五部分 Inception-v3 architecture GANs

论文速看 Improved Precision and Recall Metric for Assessing Generative Models 来自StyleGAN团队的准确率和召回率指标。 阅读详情

深度卷积对抗神经网络 基础 第五部分 Inception-v3 architecture GANs

对抗神经网络能够产生不存在的图片,换脸或者生成一些艺术品,这些有趣和强大的对抗神经网络的能力不仅能够创造价值,还能够用来犯罪。With Great Power , Comes With Responsibility. 请使用者可以 Handle it responsibly。

Inception-v3 architecture 是一种图像识别模型,已证明在 ImageNet 数据集上的准确率超过 78.1%。该模型是多位研究人员多年来开发的许多想法的结晶。它基于原始论文: Szegedy 等人的“重新思考计算机视觉的初始架构” ,其主要用于进行图像中的物体识别,具体叫特性识别。

该模型本身由对称和非对称构建块组成,包括卷积、平均池化、最大池化、连接、dropout 和全连接层。批量归一化在整个模型中广泛使用,并应用于激活输入,使用 Softmax 计算损失。下面进行一个简单的介绍,具体请看论文。

1. 模型的评估 Evaluation

为什么评估模型非常的难? why is evaluating GANs hard?

  • 判别器容易出现过拟合的状况,不存,在一个通用的可以适合所有模型的判别器。 Discriminator overfitting non gold universal discriminator
  • 两个重要的模型特性需要考虑和平衡 Two important properties needed to consider and trade off:
    • 保真性:指的是生成的图片以假乱真的能力 Fidelity
    • 多样性:指的是生成的图片类别类型多样的能力 Diversity

比较生成图像的差别 Comparing images:

  • 像素距离 pixel distances : 这种方式比较简单,但是在很多情况并不适用 not realistic in some situations
  • 特征距离 feature distances : 这种方式可以比较特征之间的距离,比如说

1.1 特征提取 Feature extraction

使用一个提前训练好的特征提取器来进行初始的特征提取,并输出特征信息 Using Feature extraction using pre-trained classifiers (Extensively pre-trained classifiers available to use)

  1. 通过将分类器的神经网络切断,取其中的一部分来提取特征。Classifiers can be used as feature extractors by cutting the network at earlier layersScreenshot 2023-01-16 112520
  2. 一般截取到池化层,因为池化层通常用来进行特征提取。The last pooling layer is most commonly used for features extraction

1.2 Inception-v3 architecture

Screenshot 2023-01-16 113828

通过这个imagenet的神经网络可以将像素空间投影到feature空间,实现比较feature而不是比较像素。这样就可以识别出鼻子,耳朵,头发颜色等等图像的具体特征,并实现一些具体的操作,比如说对图像的特征距离进行计算等等。这些特性被叫做 embeddings, 我们可以通过比较 embeddings来得到 特性距离,也就是feature distance。

1.3 方法一 Frechet distance (Maurice frechet)

在数学中,Fréchet 距离是曲线之间相似性的度量,它考虑了沿曲线的点的位置和顺序。它以Maurice Fréchet的名字命名。用于计算两个曲线的距离的一种metric(度量方式)想象一个人在用皮带遛狗时穿过一条有限的弯曲路径,而狗则穿过一条单独的有限弯曲路径。每个人都可以改变他们的速度以保持皮带松弛,但都不能向后移动。两条曲线之间的 Fréchet 距离是足以让两条曲线从头到尾穿过各自路径的最短皮带的长度。请注意,该定义关于两条曲线是对称的——如果狗在遛它的主人,Fréchet 距离将是相同的。其称之为 Frechet Inception Distance (FID)。这个距离通常用来比较两个随机变量分布之间的距离。

  • Univariate Normal Frechet Distance

( μ X − μ Y ) 2 + ( σ X 2 + σ Y 2 − 2 σ X σ Y ) (\mu_X - \mu_Y)^2 + (\sigma^2_X + \sigma^2_Y - 2 \sigma_X \sigma_Y) (μX​−μY​)2+(σX2​+σY2​−2σX​σY​)

  • Multivariate Normal Frechet Distance (FID)

∣ ∣ μ X − μ Y ∣ ∣ 2 + T r ( Σ X + Σ Y − 2 Σ X Σ y ) ||\mu_X - \mu_Y ||^2 + Tr (\Sigma_X + \Sigma_Y - 2 \sqrt{\Sigma_X \Sigma_y}) ∣∣μX​−μY​∣∣2+Tr(ΣX​+ΣY​−2ΣX​Σy​ ​)

FID的缺点: Shortcomings of FID:

  • 需要一个提前训练好的模型来进行特征提取 Need pre-trained Inception model, which may not capture all features
  • 需要大尺度的数据量 Needs a large sample size
  • 模型训练非常慢 Slow to run
  • 仅仅只有有限的统计量被使用 Limited statistics used: only mean and covariance

1.4 方法二 Inception Score: (IS)

这是一种同时评估了多样性和真实性的一种度量方式。

  • 保持classifier的完整,直接提取他的输出

  • 在某些class上的高分布,以及在其他类上的低分布来评价一个class的entropy P(y|x)

  • Fidelity means low entropy

    Screenshot 2023-01-16 141929

1.5 IS(Inception Score) definition

1. KL Divergence:

  • 其主要描述了你通过边缘分布(样本的分布)可以得到多少条件分布(conditional distribution)的信息。当KL Divergence 越大,也就意味着你的总体样本包含的信息越多,entropy就越小,其就越准确。KL散度是两个几率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。

  • 当 p(y) 与 p(y|x) 越相近,那么divergence越小,那么也就意味着我可以从p(y) 中得到更多的信息

  • KL散度通过条件分布和边缘分布的乘积来综合评估模型的有效性。其最初的作用是为了评估当知道先验分布后,评估其对后验推断的有效性,也就是其提供的信息的多少。而在这里,通过条件概率分布 p(y|x) 来表达,随机变量x条件下,随机变量y分布的概率,当这个值越大,也就意味着两个分布越相似。

    Screenshot 2023-01-16 143324

    IS(Inception Score) definition

Screenshot 2023-01-16 145341

这个分布通过评估两个分布的信息增量的期望,旨在评估多样性和真实性。 Fidelity & Diversity

IS的缺点:Shortcomings of IS

  1. 每个class只生成一个,也就是局部最优
  2. 只看假的照片,对真的照片没有比对。
  3. 可能会错过有用的feature

1.6 GANs 评估标准

GANs的目标就是上Pg 和Pr完全重合,以达到以假乱真的效果。

Screenshot 2023-01-16 152729
  • 精确率和召回率 precision and recall

    • precision 指的是精确性,指的是其产生的随机分布样本中属于实际分布的样本在生成样本中的概率,也就是fidelity,指的是生成器生成真实样本的效率,也就是精确性。

      image-20230130232300474
    • recall 指的是多样性,也就是diversity,指的是真实的样本分布在产生的随机样本中的概率,也就是recall,也就是真实样本空间与生成样本空间的交集。简而言之,就是真实样本中有多少样本被生成样本所覆盖,也就直接表达了生成器生成样本的多样性覆盖率。

      image-20230130232326404
    • 大多数情况下,GANs都是recall的性能更好一些,也就是覆盖率高但是可靠性差,也就是genereator可以包含和生成所有的feature,但是其却并不能够保证一定的精确性。于是根据此就用到了sampling fakes(Truncation Trick as a method),用于排除高diversity的样本。如下图的例子。

      Screenshot 2023-01-16 152626

2. 参考文献 Reference

Need a summary of FID and IS? Here are two great articles that recap both metrics!

Fréchet Inception Distance (Jean, 2018): https://nealjean.com/ml/frechet-inception-distance/

GAN — How to measure GAN performance? (Hui, 2018): https://medium.com/@jonathan_hui/gan-how-to-measure-gan-performance-64b988c47732

Works Cited

All of the resources cited in Course 2 Week 1, in one place. You are encouraged to explore these papers/sites if they interest you! They are listed in the order they appear in the lessons.

From the videos:

  • StyleGAN - Official TensorFlow Implementation: https://github.com/NVlabs/stylegan
  • Stanford Vision Lab: http://vision.stanford.edu/
  • Review: Inception-v3 — 1st Runner Up (Image Classification) in ILSVRC 2015 (Tsang, 2018): https://medium.com/@sh.tsang/review-inception-v3-1st-runner-up-image-classification-in-ilsvrc-2015-17915421f77c
  • HYPE: A Benchmark for Human eYe Perceptual Evaluation of Generative Models (Zhou et al., 2019): https://arxiv.org/abs/1904.01121
  • Improved Precision and Recall Metric for Assessing Generative Models (Kynkäänniemi, Karras, Laine, Lehtinen, and Aila, 2019): https://arxiv.org/abs/1904.06991
  • Large Scale GAN Training for High Fidelity Natural Image Synthesis (Brock, Donahue, and Simonyan, 2019): https://arxiv.org/abs/1809.11096

From the notebook:

  • CelebFaces Attributes Dataset (CelebA): http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
  • ImageNet: http://www.image-net.org/
  • The Fréchet Distance between Multivariate Normal Distributions (Dowson and Landau, 1982): https://core.ac.uk/reader/82269844
Tensorflow框架:InceptionV3网络概念及实现 卷积神经网络迁移学习-Inception • 有论文依据表明可以保留训练好的inception模型中所有卷积层的参数,只替换最后一层全连接层。在最后 这一层全连接层之前的网络称为瓶颈层。 • 原理:在训练好的inception模型中,因为将瓶颈层的输出再通过一个单层的全连接层,神经网络可以很好 的区分1000种类别的图像,所以可以认为瓶颈层输出的节点向量可以被作为任何图像的一个更具有表达能 力的特征向量。于是在新的数据集上可以直接利用这个训练好的神经网络对图像进行特征提取,然后将提 取得到的特征向量作为输入 阅读详情

相关推荐

InceptionV3代码实现(Pytorch)

Inception网络是CNN发展史上一个重要的里程碑。在Inception出现之前,大部分流行CNN仅仅是把卷积层堆叠得越来越多,使网络越来越深,以此希望能够得到更好的性能。

Yophan的博客 2710

Inception V3

目录0 回顾1 介绍2 设计原则3 大filter size卷积的分解3.1 分解为小卷积3.2 分解为非对称卷积4 辅助分类器的效用5 feature map的size的高效减小6 Inception v37. Label Smoothing模型正则8. 在低分辨率输入情况下的性能9. 实验中的结果和对比10.结论 0 回顾 Inception V1:主要提出了多分支(多分辨率的filter组合)的网络 Inception V2: 主要提出了BN层,提高网络性能(减少梯度消失和爆炸、防止过拟合

chairon的博客 2万+

视觉特征-自监督-对比学习:SimCLR(在潜空间用对比损失最大化同一样本经不同数据增强所得视图间的一致性来学习表示)【Loss:对比损失函数】【同批次非同源样本作为负样本】【2020-02】

Abstract摘要本文提出了SimCLR:一个用于视觉表征对比学习的简单框架。我们简化了近期提出的对比式自监督学习算法,无需专门的架构或记忆库。为了理解是什么使对比预测任务能够学习到有用的表征,我们系统地研究了该框架的主要组成部分。我们表明:(1)数据增强的组合在定义有效预测任务中起着关键作用;(2)在表征与对比损失之间引入可学习的非线性变换,可显著提升所学习表征的质量;(3)与监督学习相比,对比学习受益于更大的批量大小和更多的训练步骤。

u013250861的博客 84

图像评价常用指标(PSNR、SSIM、LPIPS 、IS、FID、Precision、Recall)

图像评价常用指标(PSNR、SSIM、FID、Recall)

Drug discovery 9983

对抗神经网络 Adversarial Neural Network |ANN

简单介绍了(生成)对抗神经网络的基本概念,应用场景,优缺点,建模过程,实现的类库方法和代码案例等

JasonH2021的博客 8310

深度对抗神经网络(DANN)笔记

一 总体介绍 DANN是一种迁移学习方法,是对抗迁移学习方法的代表方法。基本结构由特征提取层f,分类器部分c和对抗部分d组成,其中f和c其实就是一个标准的分类模型,通过GAN(生成对抗网络)得到迁移对抗模型的灵感。但此时生成的不是假样本,而是假特征,一个足以让目标域和源域区分不开的假特征。 而领域判别器D其实是个标准的二分类分类器,0是源域,1是目标域。它本身的目标是区分源域和目标域,而我们想要的结果是使判别器越来越分不出数据特征来自源域还是目标域,感觉起来这很矛盾。但其实我们引入一个梯度反转层就可以完

add999add的博客 3万+

深度学习第J9周:Inception v3算法实战与解析

总结来说,Inception v3是一种深度卷积神经网络,其主要特点包括更深的网络结构、使用Factorized Convolutions、添加Batch Normalization、引入辅助分类器以及使用基于RMSProp的优化器进行训练。相对于Inception v1的Inception Module结构,Inception v3在卷积操作上做出了改动,使用两个3x3的卷积代替一个5x5的卷积以提高计算速度,并将n x n的卷积核尺寸分解为1 x n和n x 1两个卷积。

m0_62237233的博客 6218

第39步 深度学习图像识别:Inception V3建模(Tensorflow)

第39步 深度学习图像识别:Inception V3建模(Tensorflow)

Jet4505的博客 3172

【图像分类】【深度学习】【Pytorch版本】GoogLeNet(InceptionV3)模型算法详解

【图像分类】【深度学习】【Pytorch版本】GoogLeNet(InceptionV3)模型算法详解

yangyu0515的博客 6780

android+音乐节拍检测,科学网—音乐节拍跟踪或音乐节拍检测软件,LilyBeats alpha - 石自强的博文...

我们设计并实现了一种用于实时跟踪音乐节拍的软件。该软件可以用于智能灯方案提供商,为其提供灯光随音乐变化的核心解决方案。首先给出软件的下载链接:或者音乐节拍是乐曲中表示固定单位时值和强弱规律的组织形式,亦称拍子。它有两个特性:周期性和连续性。节拍周期性表现为节拍结构,是乐曲中周期性出现的节奏序列。节拍连续性表现为音乐的平均速度,其单位为bpm(beat per minute每分钟音乐节拍的个数)。音...

weixin_39571403的博客 1402

VS2019配置Qt5.14.2开发环境全流程(含MSVC2017 64-bit选择指南)

本文详细介绍了在VS2019中配置Qt5.14.2开发环境的完整流程,特别针对MSVC2017 64-bit编译器的选择提供了专业建议。从环境准备、Qt安装配置到VS2019集成设置,逐步指导开发者完成开发环境的搭建,并提供了常见问题的解决方案和高级优化技巧,帮助开发者高效进行Qt开发。

weixin_29243279的博客 516

深度学习基础--CNN经典网络之InceptionV3详解与复现(pytorch)

是谷歌在2015年提出,是的进阶版,对于Inception系列网络来说,他是当时第一个在100层卷积网络却依然可以取得好效果的网络(ResNet还没有提出来),相比于更深入得网络结构,在中,包含了48层卷积网络,这可以提取出更多特征,从而获得更好成果;使用分解卷积,将较大的卷积核分解为多个较小的卷积核,在保持良好性能的情况下,依然降低了网络参数量,减少计算复杂度;使用BN层,

羊小猪~~的博客 3473

OpenHarmony之Histreamer引擎深度解析:pipeline_core架构如何全面取代GStreamer,一统音视频播放与录制

Histreamer是OpenHarmony多媒体框架的核心媒体引擎,采用架构设计。一个轻量级的媒体引擎组件,提供播放、录制等场景的媒体数据流水线处理。1.播放场景分为如下几个节点:数据源读取、解封装、解码、输出;2.录制场景分为如下几个节点:数据源读取、编码、封装、输出。该引擎从OH5.0开始取代了原有的媒体引擎gstreamer(部分文档还保留较老架构的讲解),提供统一的音视频播放、录制、元数据解析等能力。

m0_67505153的博客 333

【深度学习】Inception模型结构解析,关键词:Inception-v1、v2、v3、v4、Inception-ResNet-v1、Inception-ResNet-v2

【深度学习】Inception模型结构解析,关键词:Inception-v1、v2、v3、v4、Inception-ResNet-v1、Inception-ResNet-v2

Next_SummerAgain的博客 1万+

2、机器人控制技术:阻抗/导纳控制与强化学习的融合

本文探讨了阻抗/导纳控制与强化学习在机器人控制中的融合应用。阻抗/导纳控制广泛应用于外骨骼和跟踪控制,通过改进方案提升建模误差下的鲁棒性;强化学习则为解决维度灾难、实现最优交互提供了有效途径,尤其在大输入空间、连续时间系统、冗余机器人及鲁棒控制中表现突出。结合近似器与合理奖励设计,强化学习可在无模型情况下实现高效控制。未来,两者融合有望推动更智能、更安全的机器人系统发展。

ice55的博客 300

科研生产力革命:手把手教你打造基于大模型的Research Agent(文献调研+论文写作+思路激发)

本文介绍了如何利用Research Agent(科研智能体)提升科研效率。Research Agent能自主完成文献检索、信息整合和报告生成全流程,省去50%以上的基础工作时间。文章详细讲解了搭建运行环境的方法,包括工具准备和MetaGPT配置,并提供了两种实战方案:基础版Search-O1和专业版MetaGPT Research Agent。此外,还介绍了如何为垂直领域定制Agent,以及优化检索效果、改善报告逻辑等技巧。最后列举了学术研究、行业分析、内容创作和个人学习四大应用场景,帮助用户将AI从聊天工

LXY_LOVE36的博客 269

深度学习网络篇——Inception v3

文章目录先夸一夸我们的GoogLeNetInception v3的薅羊毛顺序第一部分 总体设计原则1、避免表达的瓶颈,特别是在网络前面的部分2、高维度特征更适合在网络局部中处理3、在较低维度的输入上进行空间聚合,不会降低网络表示能力4、平衡网络的宽度和深度第二部分 分解大卷积核1、大卷积分解为小卷积2、非对称卷积的空间分解第三部分 使用辅助分类器第四部分 有效网格尺寸缩减第五部分 Inceptio...

PRIS-SCMonkey的博客 3390

基于STM32的智能宠物喂食系统设计与实现(代码+PCB )

STM32;DHT11;本系统的软件程序基于Keil MDK-ARM V5集成开发环境进行编写和编译。Keil MDK是ARM公司官方推荐的嵌入式开发工具,支持ARM Cortex-M系列微控制器的程序开发,内置ARM C/C++编译器、调试器和仿真器,具有代码编辑、语法高亮、工程管理和在线调试等功能,是STM32开发领域应用最为广泛的IDE之一。

3254968421的博客 77

365天深度学习训练营-第J9周:Inception v3算法实战与解析

《Rethinking the Inception Architecture for Computer Vision》是Google Brain的研究团队在2016年提出的一篇论文,探讨了Inception网络架构在计算机视觉任务中的应用。本文将对该论文的主要内容进行解读。

m0_58585940的博客 1118

AD(十四)调用已有的PCB元件封装库

软件:Altium Designer 16 需要资料:已有的PCB原理图文件(.PCBDOC)或者PCB库文件(.PCBLIB)(来源文中细说) 调用已有的PCB元件封装库(一)从已有的PCB原理图文件(*.PCBDOC)中调用1、PCB原理图文件来源2、打开已有的PCB原理图文件(*.PCBDOC)3、生成PCB封装库4、复制封装到工程文件下的PCB库文件(*.PCBLIB)5、重名问题(二)从已有的PCB库文件(*.PCBLIB)中调用1、PCB库文件(*.PCBLIB)的来源2、打开已有的PCB库 (

Curnane0_0的博客 5085

30天Python入门(第一天:Python入门)

30天带你入门Python,这是第一天

Science prince的博客 585

探索图像生成新维度:改进的精确度和召回率评估指标(官方TensorFlow实现)

探索图像生成新维度:改进的精确度和召回率评估指标(官方TensorFlow实现) 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的机器学习时代,评估生成模型性能的重要性不言而喻。特别是对于像生成对抗网络(GANs)这样的模型,它们在有限训练样本的基础上构建数据流形,评估就变得更加复杂。今天,我们向您推荐一个开源项目,它提供了一个改进的精确度和召回率(Precisi...

gitblog_00001的博客 552

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

深度学习07-深度卷积生成对抗网络(DCGAN)

GAN(Generative Adversarial Network)是一种生成模型,由两个神经网络组成:生成器(Generator)和判别器(Discriminator)。GAN的基本思想是通过让生成器和判别器相互对抗来学习生成真实样本的能力。生成器的作用是将一个随机噪声向量作为输入,通过一系列的神经网络层逐渐将其转化为一个与真实样本相似的输出。生成器的目标是尽量使生成的样本被判别器误认为是真实样本,从而欺骗判别器。生成器的训练目标是最小化生成样本与真实样本之间的差异。

liaomin416100569的专栏 7105

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【精读AI论文】inceptionV3 (Rethinking the Inception Architecture for Computer Vision)

文章目录前言Abstract(摘要)Introduction(引言)General Design Principles(通用设计原则)原则一:避免过度的降维或者收缩特征 尤其在网络浅层。原则二:特征越多,收敛越快。原则三:3 * 3和5 * 5的卷积核卷积之前可以用1 * 1 的卷积核降维,信息不会丢失。原则四:均衡网络中的深度和宽度。Factorizing Convolutions with Large Filter Size(分解大卷积核 )分解方法一:分解方法二: 前言 今天看一下inception-

深度不学习!!的博客 7633

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

20_Inception V3深度学习图像分类算法

https://www.bilibili.com/video/BV1FM4y157N2/?spm_id_from=333.999.0.0&vd_source=7dace3632125a1ef7fd32c285eb2fbac

技术博客 2218

深度卷积对抗神经网络 基础 第二部分 DC-GANs

DC-GANs (DC-GANs Deep convolutional GAN)是基于GANs的一种专门对图片生成的一种模型,其通过卷积操作来进行图片的一些基本操作来实现模型的功能。

Delay_coder的博客 1262
上一篇: 深度卷积对抗神经网络 基础 第四部分 可控制的GANs(Controllable GANs)
下一篇: 深度卷积对抗神经网络 基础 第六部分 缺点和偏见 GANs Disadvantages and Bias
Volavion
博客等级 码龄9年 3788粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Volavion

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值