深度卷积对抗神经网络 基础 第五部分 Inception-v3 architecture GANs

论文速看 Improved Precision and Recall Metric for Assessing Generative Models 来自StyleGAN团队的准确率和召回率指标。 阅读详情

深度卷积对抗神经网络 基础 第五部分 Inception-v3 architecture GANs

对抗神经网络能够产生不存在的图片,换脸或者生成一些艺术品,这些有趣和强大的对抗神经网络的能力不仅能够创造价值,还能够用来犯罪。With Great Power , Comes With Responsibility. 请使用者可以 Handle it responsibly。

Inception-v3 architecture 是一种图像识别模型,已证明在 ImageNet 数据集上的准确率超过 78.1%。该模型是多位研究人员多年来开发的许多想法的结晶。它基于原始论文: Szegedy 等人的“重新思考计算机视觉的初始架构” ,其主要用于进行图像中的物体识别,具体叫特性识别。

该模型本身由对称和非对称构建块组成,包括卷积、平均池化、最大池化、连接、dropout 和全连接层。批量归一化在整个模型中广泛使用,并应用于激活输入,使用 Softmax 计算损失。下面进行一个简单的介绍,具体请看论文。

1. 模型的评估 Evaluation

为什么评估模型非常的难? why is evaluating GANs hard?

  • 判别器容易出现过拟合的状况,不存,在一个通用的可以适合所有模型的判别器。 Discriminator overfitting non gold universal discriminator
  • 两个重要的模型特性需要考虑和平衡 Two important properties needed to consider and trade off:
    • 保真性:指的是生成的图片以假乱真的能力 Fidelity
    • 多样性:指的是生成的图片类别类型多样的能力 Diversity

比较生成图像的差别 Comparing images:

  • 像素距离 pixel distances : 这种方式比较简单,但是在很多情况并不适用 not realistic in some situations
  • 特征距离 feature distances : 这种方式可以比较特征之间的距离,比如说

1.1 特征提取 Feature extraction

使用一个提前训练好的特征提取器来进行初始的特征提取,并输出特征信息 Using Feature extraction using pre-trained classifiers (Extensively pre-trained classifiers available to use)

  1. 通过将分类器的神经网络切断,取其中的一部分来提取特征。Classifiers can be used as feature extractors by cutting the network at earlier layersScreenshot 2023-01-16 112520
  2. 一般截取到池化层,因为池化层通常用来进行特征提取。The last pooling layer is most commonly used for features extraction

1.2 Inception-v3 architecture

Screenshot 2023-01-16 113828

通过这个imagenet的神经网络可以将像素空间投影到feature空间,实现比较feature而不是比较像素。这样就可以识别出鼻子,耳朵,头发颜色等等图像的具体特征,并实现一些具体的操作,比如说对图像的特征距离进行计算等等。这些特性被叫做 embeddings, 我们可以通过比较 embeddings来得到 特性距离,也就是feature distance。

1.3 方法一 Frechet distance (Maurice frechet)

在数学中,Fréchet 距离是曲线之间相似性的度量,它考虑了沿曲线的点的位置和顺序。它以Maurice Fréchet的名字命名。用于计算两个曲线的距离的一种metric(度量方式)想象一个人在用皮带遛狗时穿过一条有限的弯曲路径,而狗则穿过一条单独的有限弯曲路径。每个人都可以改变他们的速度以保持皮带松弛,但都不能向后移动。两条曲线之间的 Fréchet 距离是足以让两条曲线从头到尾穿过各自路径的最短皮带的长度。请注意,该定义关于两条曲线是对称的——如果狗在遛它的主人,Fréchet 距离将是相同的。其称之为 Frechet Inception Distance (FID)。这个距离通常用来比较两个随机变量分布之间的距离。

  • Univariate Normal Frechet Distance

( μ X − μ Y ) 2 + ( σ X 2 + σ Y 2 − 2 σ X σ Y ) (\mu_X - \mu_Y)^2 + (\sigma^2_X + \sigma^2_Y - 2 \sigma_X \sigma_Y) (μX​−μY​)2+(σX2​+σY2​−2σX​σY​)

  • Multivariate Normal Frechet Distance (FID)

∣ ∣ μ X − μ Y ∣ ∣ 2 + T r ( Σ X + Σ Y − 2 Σ X Σ y ) ||\mu_X - \mu_Y ||^2 + Tr (\Sigma_X + \Sigma_Y - 2 \sqrt{\Sigma_X \Sigma_y}) ∣∣μX​−μY​∣∣2+Tr(ΣX​+ΣY​−2ΣX​Σy​ ​)

FID的缺点: Shortcomings of FID:

  • 需要一个提前训练好的模型来进行特征提取 Need pre-trained Inception model, which may not capture all features
  • 需要大尺度的数据量 Needs a large sample size
  • 模型训练非常慢 Slow to run
  • 仅仅只有有限的统计量被使用 Limited statistics used: only mean and covariance

1.4 方法二 Inception Score: (IS)

这是一种同时评估了多样性和真实性的一种度量方式。

  • 保持classifier的完整,直接提取他的输出

  • 在某些class上的高分布,以及在其他类上的低分布来评价一个class的entropy P(y|x)

  • Fidelity means low entropy

    Screenshot 2023-01-16 141929

1.5 IS(Inception Score) definition

1. KL Divergence:

  • 其主要描述了你通过边缘分布(样本的分布)可以得到多少条件分布(conditional distribution)的信息。当KL Divergence 越大,也就意味着你的总体样本包含的信息越多,entropy就越小,其就越准确。KL散度是两个几率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。

  • 当 p(y) 与 p(y|x) 越相近,那么divergence越小,那么也就意味着我可以从p(y) 中得到更多的信息

  • KL散度通过条件分布和边缘分布的乘积来综合评估模型的有效性。其最初的作用是为了评估当知道先验分布后,评估其对后验推断的有效性,也就是其提供的信息的多少。而在这里,通过条件概率分布 p(y|x) 来表达,随机变量x条件下,随机变量y分布的概率,当这个值越大,也就意味着两个分布越相似。

    Screenshot 2023-01-16 143324

    IS(Inception Score) definition

Screenshot 2023-01-16 145341

这个分布通过评估两个分布的信息增量的期望,旨在评估多样性和真实性。 Fidelity & Diversity

IS的缺点:Shortcomings of IS

  1. 每个class只生成一个,也就是局部最优
  2. 只看假的照片,对真的照片没有比对。
  3. 可能会错过有用的feature

1.6 GANs 评估标准

GANs的目标就是上Pg 和Pr完全重合,以达到以假乱真的效果。

Screenshot 2023-01-16 152729
  • 精确率和召回率 precision and recall

    • precision 指的是精确性,指的是其产生的随机分布样本中属于实际分布的样本在生成样本中的概率,也就是fidelity,指的是生成器生成真实样本的效率,也就是精确性。

      image-20230130232300474
    • recall 指的是多样性,也就是diversity,指的是真实的样本分布在产生的随机样本中的概率,也就是recall,也就是真实样本空间与生成样本空间的交集。简而言之,就是真实样本中有多少样本被生成样本所覆盖,也就直接表达了生成器生成样本的多样性覆盖率。

      image-20230130232326404
    • 大多数情况下,GANs都是recall的性能更好一些,也就是覆盖率高但是可靠性差,也就是genereator可以包含和生成所有的feature,但是其却并不能够保证一定的精确性。于是根据此就用到了sampling fakes(Truncation Trick as a method),用于排除高diversity的样本。如下图的例子。

      Screenshot 2023-01-16 152626

2. 参考文献 Reference

Need a summary of FID and IS? Here are two great articles that recap both metrics!

Fréchet Inception Distance (Jean, 2018): https://nealjean.com/ml/frechet-inception-distance/

GAN — How to measure GAN performance? (Hui, 2018): https://medium.com/@jonathan_hui/gan-how-to-measure-gan-performance-64b988c47732

Works Cited

All of the resources cited in Course 2 Week 1, in one place. You are encouraged to explore these papers/sites if they interest you! They are listed in the order they appear in the lessons.

From the videos:

  • StyleGAN - Official TensorFlow Implementation: https://github.com/NVlabs/stylegan
  • Stanford Vision Lab: http://vision.stanford.edu/
  • Review: Inception-v3 — 1st Runner Up (Image Classification) in ILSVRC 2015 (Tsang, 2018): https://medium.com/@sh.tsang/review-inception-v3-1st-runner-up-image-classification-in-ilsvrc-2015-17915421f77c
  • HYPE: A Benchmark for Human eYe Perceptual Evaluation of Generative Models (Zhou et al., 2019): https://arxiv.org/abs/1904.01121
  • Improved Precision and Recall Metric for Assessing Generative Models (Kynkäänniemi, Karras, Laine, Lehtinen, and Aila, 2019): https://arxiv.org/abs/1904.06991
  • Large Scale GAN Training for High Fidelity Natural Image Synthesis (Brock, Donahue, and Simonyan, 2019): https://arxiv.org/abs/1809.11096

From the notebook:

  • CelebFaces Attributes Dataset (CelebA): http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
  • ImageNet: http://www.image-net.org/
  • The Fréchet Distance between Multivariate Normal Distributions (Dowson and Landau, 1982): https://core.ac.uk/reader/82269844
Tensorflow框架:InceptionV3网络概念及实现 卷积神经网络迁移学习-Inception • 有论文依据表明可以保留训练好的inception模型中所有卷积层的参数,只替换最后一层全连接层。在最后 这一层全连接层之前的网络称为瓶颈层。 • 原理:在训练好的inception模型中,因为将瓶颈层的输出再通过一个单层的全连接层,神经网络可以很好 的区分1000种类别的图像,所以可以认为瓶颈层输出的节点向量可以被作为任何图像的一个更具有表达能 力的特征向量。于是在新的数据集上可以直接利用这个训练好的神经网络对图像进行特征提取,然后将提 取得到的特征向量作为输入 阅读详情

相关推荐

InceptionV3代码实现(Pytorch)

Inception网络是CNN发展史上一个重要的里程碑。在Inception出现之前,大部分流行CNN仅仅是把卷积层堆叠得越来越多,使网络越来越深,以此希望能够得到更好的性能。

Yophan的博客 2710

Inception V3

目录0 回顾1 介绍2 设计原则3 大filter size卷积的分解3.1 分解为小卷积3.2 分解为非对称卷积4 辅助分类器的效用5 feature map的size的高效减小6 Inception v37. Label Smoothing模型正则8. 在低分辨率输入情况下的性能9. 实验中的结果和对比10.结论 0 回顾 Inception V1:主要提出了多分支(多分辨率的filter组合)的网络 Inception V2: 主要提出了BN层,提高网络性能(减少梯度消失和爆炸、防止过拟合

chairon的博客 2万+

视觉特征-自监督-对比学习:SimCLR(在潜空间用对比损失最大化同一样本经不同数据增强所得视图间的一致性来学习表示)【Loss:对比损失函数】【同批次非同源样本作为负样本】【2020-02】

Abstract摘要本文提出了SimCLR:一个用于视觉表征对比学习的简单框架。我们简化了近期提出的对比式自监督学习算法,无需专门的架构或记忆库。为了理解是什么使对比预测任务能够学习到有用的表征,我们系统地研究了该框架的主要组成部分。我们表明:(1)数据增强的组合在定义有效预测任务中起着关键作用;(2)在表征与对比损失之间引入可学习的非线性变换,可显著提升所学习表征的质量;(3)与监督学习相比,对比学习受益于更大的批量大小和更多的训练步骤。

u013250861的博客 84

图像评价常用指标(PSNR、SSIM、LPIPS 、IS、FID、Precision、Recall)

图像评价常用指标(PSNR、SSIM、FID、Recall)

Drug discovery 9983

对抗神经网络 Adversarial Neural Network |ANN

简单介绍了(生成)对抗神经网络的基本概念,应用场景,优缺点,建模过程,实现的类库方法和代码案例等

JasonH2021的博客 8310

深度对抗神经网络(DANN)笔记

一 总体介绍 DANN是一种迁移学习方法,是对抗迁移学习方法的代表方法。基本结构由特征提取层f,分类器部分c和对抗部分d组成,其中f和c其实就是一个标准的分类模型,通过GAN(生成对抗网络)得到迁移对抗模型的灵感。但此时生成的不是假样本,而是假特征,一个足以让目标域和源域区分不开的假特征。 而领域判别器D其实是个标准的二分类分类器,0是源域,1是目标域。它本身的目标是区分源域和目标域,而我们想要的结果是使判别器越来越分不出数据特征来自源域还是目标域,感觉起来这很矛盾。但其实我们引入一个梯度反转层就可以完

add999add的博客 3万+

深度学习第J9周:Inception v3算法实战与解析

总结来说,Inception v3是一种深度卷积神经网络,其主要特点包括更深的网络结构、使用Factorized Convolutions、添加Batch Normalization、引入辅助分类器以及使用基于RMSProp的优化器进行训练。相对于Inception v1的Inception Module结构,Inception v3在卷积操作上做出了改动,使用两个3x3的卷积代替一个5x5的卷积以提高计算速度,并将n x n的卷积核尺寸分解为1 x n和n x 1两个卷积。

m0_62237233的博客 6218

第39步 深度学习图像识别:Inception V3建模(Tensorflow)

第39步 深度学习图像识别:Inception V3建模(Tensorflow)

Jet4505的博客 3172

【图像分类】【深度学习】【Pytorch版本】GoogLeNet(InceptionV3)模型算法详解

【图像分类】【深度学习】【Pytorch版本】GoogLeNet(InceptionV3)模型算法详解

yangyu0515的博客 6780

Prometheus+Grafana部署及企业微信邮件/群消息告警通知配置

本文详细介绍了在Ubuntu 22.04系统上部署普罗米修斯监控系统的完整流程。首先说明了系统配置要求(2核CPU、4G内存、100G硬盘),然后分步骤指导下载、解压和安装普罗米修斯服务。文章包含配置prometheus.yml文件、启动服务、设置系统服务等关键操作,并提供了访问9090端口验证服务的方法。接着介绍了通过node_exporter监控Linux主机的配置过程,包括安装、启动服务和修改普罗米修斯配置文件添加监控项。最后还涉及了mysqld_exporter的部署流程,用于监控MySQL数据库服

m0_58761900的博客 1643

湿敏电阻HR202的两种驱动方案实测:IO充放电法 vs. 交流方波ADC法,哪个更适合你?

本文深入评测湿敏电阻HR202的两种驱动方案:IO充放电法和交流方波ADC法。通过原理图分析、精度实测和资源占用对比,揭示交流方波ADC法在精度和稳定性上的优势,特别适合长期监测场景。同时提供IO充放电法在资源受限情况下的应用建议,帮助工程师根据项目需求做出最优选择。

weixin_30421809的博客 468

深度学习基础--CNN经典网络之InceptionV3详解与复现(pytorch)

是谷歌在2015年提出,是的进阶版,对于Inception系列网络来说,他是当时第一个在100层卷积网络却依然可以取得好效果的网络(ResNet还没有提出来),相比于更深入得网络结构,在中,包含了48层卷积网络,这可以提取出更多特征,从而获得更好成果;使用分解卷积,将较大的卷积核分解为多个较小的卷积核,在保持良好性能的情况下,依然降低了网络参数量,减少计算复杂度;使用BN层,

羊小猪~~的博客 3473

ADBC 全面解析:ABAP 开发者玩转 Native SQL 的实战指南

本文介绍了 SAP ABAP 中的 ADBC(ABAP Database Connectivity)技术,它是一种基于 ABAP 面向对象的类库,用于访问 Native SQL 接口。与 Open SQL 和 EXEC SQL 相比,ADBC 具有以下优势:支持特定数据库语法、可访问二级数据库连接、执行多种 SQL 操作且语法更 ABAP 化。文章通过示例展示了 ADBC 的基本用法,包括创建语句对象、执行查询和处理结果集。建议在需要数据库特有功能或二级连接时优先使用 ADBC,同时提供封装类来简化调用。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 314

【深度学习】Inception模型结构解析,关键词:Inception-v1、v2、v3、v4、Inception-ResNet-v1、Inception-ResNet-v2

【深度学习】Inception模型结构解析,关键词:Inception-v1、v2、v3、v4、Inception-ResNet-v1、Inception-ResNet-v2

Next_SummerAgain的博客 1万+

【第1章>第5节】SOM自组织映射网络的理论学习与MATLAB仿真

自组织映射网络(Self-Organizing Map,SOM)是一种无监督学习的人工神经网络,由芬兰学者Teuvo Kohonen于1981年提出,也被称为Kohonen网络。它的主要功能是将高维输入数据映射到低维(通常是二维)的离散网格上,同时保持输入数据的拓扑结构,即相邻的输入数据在映射后的网格上也相邻。

FPGA/MATLAB学习教程/源码/项目合作开发 405

【CloudCompare教程】017:点云快速全局配准

点云数据的配准分为基于特征(特征点、特征线)的拼接和无特征拼接。特征点匹配的方法和全局ICP的方法。特征点的方法通过全局特征匹配达到全局配准,全局ICP的方法通过对变量空间进行搜索的方法达到全局最优解。

智慧空间实验室 3933

深度学习网络篇——Inception v3

文章目录先夸一夸我们的GoogLeNetInception v3的薅羊毛顺序第一部分 总体设计原则1、避免表达的瓶颈,特别是在网络前面的部分2、高维度特征更适合在网络局部中处理3、在较低维度的输入上进行空间聚合,不会降低网络表示能力4、平衡网络的宽度和深度第二部分 分解大卷积核1、大卷积分解为小卷积2、非对称卷积的空间分解第三部分 使用辅助分类器第四部分 有效网格尺寸缩减第五部分 Inceptio...

PRIS-SCMonkey的博客 3390

一文吃透 ABAP RESTful Application Programming Model(RAP):从数据建模与行为,到业务服务暴露,再到服务消费

本文介绍了SAP ABAP统一编程模型RAP的核心架构与实践方法,通过构建完整的ZTRAVEL和ZBOOKING业务对象,演示了从数据建模、行为定义到服务暴露的全流程。文章详细说明了RAP三层架构(数据与行为层、服务提供层、服务消费层)的实现方式,包括CDS视图实体定义、行为定义(BDEF)中的事务能力声明、投影与服务绑定等关键步骤。特别强调了ABAP Cloud环境下的开发限制和最佳实践,如使用GUID和late numbering机制,以及如何通过EML语言操作业务对象。最后提供了完整的代码示例,展示了

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 525

365天深度学习训练营-第J9周:Inception v3算法实战与解析

《Rethinking the Inception Architecture for Computer Vision》是Google Brain的研究团队在2016年提出的一篇论文,探讨了Inception网络架构在计算机视觉任务中的应用。本文将对该论文的主要内容进行解读。

m0_58585940的博客 1118

搞定最强大模型Gemini学生订阅,白嫖一年,包教包会

白嫖现在最强大模型

BUG猿的博客 2万+

【小白深度教程 1.3】使用 BP-Net 深度补全网络,进行 KITTI 稠密点云和图像融合(Depth Completion 实战)

在上一节中,我们展示了如何将从激光雷达获取的稀疏点云(深度)映射到图像。因此这篇论文我们尝试使用 Depth Completion(深度补全)技术,来将稀释的点云深度,补全为稠密深度。

2401_87064292的博客 1200

探索图像生成新维度:改进的精确度和召回率评估指标(官方TensorFlow实现)

探索图像生成新维度:改进的精确度和召回率评估指标(官方TensorFlow实现) 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的机器学习时代,评估生成模型性能的重要性不言而喻。特别是对于像生成对抗网络(GANs)这样的模型,它们在有限训练样本的基础上构建数据流形,评估就变得更加复杂。今天,我们向您推荐一个开源项目,它提供了一个改进的精确度和召回率(Precisi...

gitblog_00001的博客 552

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

深度学习07-深度卷积生成对抗网络(DCGAN)

GAN(Generative Adversarial Network)是一种生成模型,由两个神经网络组成:生成器(Generator)和判别器(Discriminator)。GAN的基本思想是通过让生成器和判别器相互对抗来学习生成真实样本的能力。生成器的作用是将一个随机噪声向量作为输入,通过一系列的神经网络层逐渐将其转化为一个与真实样本相似的输出。生成器的目标是尽量使生成的样本被判别器误认为是真实样本,从而欺骗判别器。生成器的训练目标是最小化生成样本与真实样本之间的差异。

liaomin416100569的专栏 7105

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

【精读AI论文】inceptionV3 (Rethinking the Inception Architecture for Computer Vision)

文章目录前言Abstract(摘要)Introduction(引言)General Design Principles(通用设计原则)原则一:避免过度的降维或者收缩特征 尤其在网络浅层。原则二:特征越多,收敛越快。原则三:3 * 3和5 * 5的卷积核卷积之前可以用1 * 1 的卷积核降维,信息不会丢失。原则四:均衡网络中的深度和宽度。Factorizing Convolutions with Large Filter Size(分解大卷积核 )分解方法一:分解方法二: 前言 今天看一下inception-

深度不学习!!的博客 7633

20_Inception V3深度学习图像分类算法

https://www.bilibili.com/video/BV1FM4y157N2/?spm_id_from=333.999.0.0&vd_source=7dace3632125a1ef7fd32c285eb2fbac

技术博客 2218

深度卷积对抗神经网络 基础 第二部分 DC-GANs

DC-GANs (DC-GANs Deep convolutional GAN)是基于GANs的一种专门对图片生成的一种模型,其通过卷积操作来进行图片的一些基本操作来实现模型的功能。

Delay_coder的博客 1262
上一篇: 深度卷积对抗神经网络 基础 第四部分 可控制的GANs(Controllable GANs)
下一篇: 深度卷积对抗神经网络 基础 第六部分 缺点和偏见 GANs Disadvantages and Bias
Volavion
博客等级 码龄9年 3788粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Volavion

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值