菜到怀疑人生的博客

Diffusion model需要多次推断才能生成最终的图像，这将耗费大量的计算资源。前几篇博客我们已经介绍了加速Diffusion model生成图像速率的DDIM和Stable Diffusion，本节将介绍最近大火的Consistency Models（代表模型：Dalle-3），其允许Diffusion model仅经过一次推断就生成最终的图像，同时也允许少量多次推断来生成最终的图像。

在前几篇博文中，我们已经介绍了DDPM、DDIM、Classifier guidance等相关的扩散模型基础，从本节博客开始，将介绍一些经典偏应用类的文章。《Diffusion Models Beat GANs on Image Synthesis》是openAI在2020年发表的一篇文章。文章从模型结构入手，通过扩大模型容量，在图像生成任务上击败了当时的SOTA Big GAN。此外还提出了Classifier guidance，用于控制扩散模型生成指定类型的图像，具体推导流程可以查阅前文。

文章目录前言问题建模条件扩散模型的前向过程条件扩散模型的反向过程条件扩散模型的训练目标前言几乎所有的生成式模型，发展到后期都需要引入"控制"的概念，可控制的生成式模型才能更好应用于实际场景。本文将总结《Diffusion Models Beat GANs on Image Synthesis》中提出的Classifier Guidance Diffusion（即条件扩散模型），其往Diffusion Model中引入了控制的概念，可以控制DDPM、DDIM生成指定类别（条件）的图片。问题建模本章节所

上一篇博文介绍了DDIM的前身DDPM。DDPM的反向过程与前向过程步数一一对应，例如前向过程有1000步，那么反向过程也需要有1000步，这导致DDPM生成图像的效率非常缓慢。本文介绍的DDIM将降低反向过程的推断步数，从而提高生成图像的效率。值得一提的是，DDIM的反向过程仍然是马尔可夫链，但论文里有讨论非马尔可夫链的生成模型。本博文只总结DDIM如何提高DDPM的生成图像效率。

文章目录前言DDPM的基本流程前向过程反向过程DDPM训练与测试伪代码前向过程详解反向过程详解DDPM损失函数推导结语前言本文将总结扩散模型DDPM的原理，首先介绍DDPM的基本流程，接着展开介绍流程里的细节，最后针对DDPM的优化函数进行推导，以让读者明白DDPM参数估计的原理。本文不会对扩散模型的motivation进行讲解，作者有点鬼才，完全想不到他是怎么想出这种训练范式的生成式模型的代表作为GAN，然而，GAN的训练十分困难，对抗训练稍有不慎便会陷入模式坍塌(model collapse)。

总结了CVPR oral文章《MetaFormer Is Actually What You Need for Vision》

Gmlp结构总结，含个人解读

文章目录前言为什么需要PPOTRPOPPO前言本文对论文《Proximal Policy Optimization Algorithms》进行总结，如有错误，欢迎指出。为什么需要PPO随机策略梯度的数学表达式为∇J(θ)=ES[EA∼π(.∣S;θ)[Qπ(S,A)∇θln⁡π(A∣S;θ)]](1.0)\nabla J(\theta)=E_S[E_{A\sim \pi(.|S;\theta)}[Q_\pi(S,A)\nabla_{\theta}\ln\pi(A|S;\theta)]]\tag{

文章目录前言多智能体系统的设定合作关系设定下的多智能体系统策略学习的目标函数合作关系下的多智能体策略学习算法MAC-A2C前言本文总结《深度强化学习》中的多智能体强化学习相关章节，如有错误，欢迎指出。多智能体系统的设定多智能体系统包含有多个智能体，多个智能体共享环境，智能体之间相互影响。一个智能体的动作会改变环境状态，从而影响其他智能体。多智能体之间存在四种常见的关系完全合作关系：多个智能体之间的目标一致，做出动作后获得的奖励相同。完全竞争关系：某个智能体获得收益会导致某些的智能体亏损。

文章目录前言连续控制DPGDPG的优化目标On-Policy DPGOff-Policy DPG前言本文总结《深度强化学习》中连续控制章节的内容，如有错误，欢迎指出。连续控制前面几篇博客总结的强化学习方法，动作空间都是离散有限的。但动作空间不一定总是离散的，也可能是连续的，例如驾驶车辆，汽车转向角度的动作空间就是连续的。针对上述问题，一个可行的解决方案是将动作空间离散化，除此之外，可以直接使用连续控制相关的强化学习方法。本文将总结确定策略梯度算法（DPG）。DPGDPG属于策略学习的方法。具

文章目录前言策略学习策略学习的目标前言前段时间都在忙毕业论文，强化学习这块的总结就拉下了，本小节将对《深度强化学习》中的策略学习章节进行总结。如有错误，欢迎指出。策略学习价值学习让神经网络学习最优动作价值函数Qπ(s,a)Q_{\pi}(s,a)Qπ​(s,a)，而策略学习让神经网络学习最优策略函数π(a∣s)\pi(a|s)π(a∣s)，其中aaa表示智能体执行的动作，sss表示环境状态。如下图所示，策略学习中的神经网络的输入为状态sss，输出为智能体执行各个动作的概率，接着依据概率随机抽样一个动

文章目录前言SARSASARSA算法的训练流程SARSA算法与DQN算法的区别前言本文介绍的SARSA算法需要配合后续的策略学习内容使用，无法单独使用。本文为《深度强化学习》的阅读笔记，如有错误，欢迎指出SARSADQN等价值学习算法目的是拟合最优动作价值函数，从而控制智能体进行决策，而SARSA等算法的目的是拟合动作价值函数Qπ(st,at)Q_{\pi}(s_t,a_t)Qπ​(st​,at​)，用于评价策略π\piπ的优劣，更具体的，SARSA常与策略网络一同用于策略学习中的Actor- C

文章目录前言DQN算法损失函数推导训练DQN前言本文为《深度强化学习》的阅读笔记，如有错误，欢迎指出DQN算法DQN算法通过神经网络拟合最优动作价值函数Q∗(st,at)Q_*(s_t,a_t)Q∗​(st​,at​)，神经网络结构如下，输入为状态s，输出为每个动作的动作价值函数Q∗(st,at)Q_*(s_t,a_t)Q∗​(st​,at​)的值，即Q值，∗*∗表示最优策略，有多少个动作，就有多少个输出，DQN处理离散动作空间。损失函数推导DQN的损失函数为最优贝尔曼方程，其数学表达式为Q

文章目录前言基础概念概率论蒙特卡洛强化学习基础概念前言本文所有概念均摘自《深度强化学习》，如有错误，欢迎指出基础概念概率论随机变量为一个不确定量，通常用大写字母表示，其取值取决于一个随机事件一次实验，随机变量的取值称为观测值，通常用小写字母表示离散随机变量的概率可通过概率质量函数获得连续随机变量的概率可通过概率密度函数求积分获得蒙特卡洛简言之，利用观测值来计算目标的近似结果，利用的观测值越多，计算结果越精确，例如随机变量AAA的期望为E(A)E(A)E(A)，我们可以进行m次实验

文章目录前言思考前言该论文从类别不平衡的角度解决持续学习中的灾难性遗忘问题。在保存部分旧数据的情况下，新旧数据之间会出现类别不平衡，导致模型在训练时过度关注新数据，忽略旧数据，从而导致灾难性遗忘。本文将简单介绍该论文提出的方法，并介绍其中较为有意思的实验，最后给出我对本篇文章的看法思考作者将分类器的输出按照新旧类别分为两部分，两部分单独做softmax，这个做法有点反直觉，举个例子，假设我们有四个类别，标签分别为1、2、3、4，旧类别为1、2，新类别为3、4，当我们输入一张类别4的图像时，如何保

文章目录前言MethodSPBSPB-I对比学习旋转预测SPB-M实验思考前言这篇文章发表于ICCV2021，是一篇结合自监督做增量学习的文章，该论文研究的问题为class Incremental本文将总结论文提出的方法，并对实验部分做个简单分析，最后讲讲我对这篇文章的看法Method本文一共有三种方法，分别为SPB、SPB-I、SPB-M，本文将依次介绍三者SPBSPB就是UCIR的变种，当task T的训练数据到来时，作者利用特征提取器提取task T训练数据的embedding，对em

文章目录前言Contrastive Continual Learning实验思考前言CVPR2022上的增量文章有些繁杂，具体体现在不少文章提出了新的实验设置来评估模型，不是很合个人胃口，故总结的不多，但有一篇将因果推断与增量结合的文章很有趣，文章名为《Distilling Causal Effect of Data in Class-Incremental Learning》，ICCV2022上的增量文章比较常规，有不少工作将自监督与增量做结合，本文将总结《Contrastive Continual

文章目录前言ConvMixer的结构设计网络结构的一些思路思考前言这篇文章目前投递至ICLR 2022，暂无发表记录。自从2020年ViT问世以来，关于transformer的文章层出不穷，ViT有如此良好的性能，是因为其独特的网络结构，还是因为其独特的输入形式？这篇文章设计了ConvMixer网络，验证了ViT的良好性能可能来源于其独特的输入形式。本文将会简单介绍ConvMixer网络的结构，并简单总结由ViT引出的几个设计网络结构的思路，最后会简单谈谈我对这篇文章的看法。ConvMixer的

文章目录前言MoCo V3ViT自监督训练过程中的“不稳定”现象前言MoCo V3是何凯明团队的新作，发表在ICCV 2021上，是一篇自监督文章，在MoCo V2的基础上做了一些小改动，同时report了ViT自监督训练过程中的“不稳定”现象，并给出了一个trick，用于减缓ViT自监督训练不稳定的现象。凯明团队的文章还是一如既往的细致，本文主要总结MoCo V3的操作流程以及ViT自监督训练过程中的“不稳定”现象。MoCo V3相关的性能试验不会过多总结本文为个人总结，如果错误，欢迎指出本文默

文章目录前言SimSiam简述实验前言该文章是何凯明组发表于CVPR2021上的文章，目前已获得最佳论文提名，主要解决自监督对比学习中的奔溃解问题。奔溃解即不论什么输入，特征提取器输出的特征向量都相同。本文将简单介绍SimSiam，记录其中较有意思的实验结果。作者并没有解释为什么SimSiam可以避免奔溃解，但文章的确非常出彩。SimSiam简述上图即SimSiam的整体结构，具体而言对输入图像x施加数据增强，得到x1x_1x1​、x2x_2x2​将x1x_1x1​、x2x_2x2​输

文章目录前言SimCLR简述实验数据增强对性能的影响Unsupervised contrastive learning benefits (more) from bigger modelsA nonlinear projection head improves the representation quality of the layer before itContrastive learning benefits (more) from larger batch sizes and longer trai

文章目录前言BYOL简述实验前言该文章为deepmind团队出品，目前挂在arxiv上，并没有查到相应的发表记录。该文章主要解决对比学习中，只存在正例时出现的模型奔溃解问题，即不论输入是什么，模型的输出都是一个常数。即使只有正例，BYOL仍然达到了SOTA水平，如下图：这表明在对比学习中，负例不一定需要存在。个人认为负例可以避免奔溃解，但是对于高性能的自监督模型而言不是必须的，例如BYOL。同时相比于使用负例的对比学习算法(例如SimCLR)，不使用负例的对比学习算法通常对于batch siz

文章目录前言CPC v1介绍CPC v2介绍实验前言这篇文章发表在ICML 2020上，是DeepMind团队的文章。这篇文章对CPC v1进行了改进，在ImageNet上的top-1准确率从 48.7%提升至71.5%。本文将简单介绍CPC v2，实验部分在此不总结。论文的Figure 1给出了一个很有意思的图，如下图：蓝线为利用CPC v1 pretrain一个ResNet，将其在ImageNet上finetune后的性能，红线为ResNet直接在ImageNet上training fro

文章目录前言前言这篇文章是何凯明老师团队的文章，作者发现SimCLR一文中提到的trick在MoCo上依然有效。关于MoCo，可以浏览我的上一篇文章：链接具体而言encoder的输出会经过一个线性fc层处理，将fc层替换为SimCLR中的两层MLP（隐藏层为2048维，使用ReLU激活函数）具体性能如下图所示TTT为InfoNCE中的温度超参数，一个简单的替换操作就可以将性能提升最多6%，确实很让人惊讶。使用SimCLR中的模糊数据增强，SimCLR中的color distortion数据

文章目录前言自监督简述MoCo简述前言本篇文章是何凯明老师在CVPR 2020上的文章文章地址：链接代码地址：链接本文前半部分将对自监督任务做一个简短介绍，包括自监督任务中常见的损失函数——InfoNCE、自监督的用途、自监督的评估方式，后半部分将对MoCo做一个介绍，具体的实验结果请自行查阅原论文。如有错误，欢迎指正。自监督简述自监督无需人工标注标签，其让海量数据自身产生伪标签，将伪标签作为监督信号，训练特征提取器，训练得到的特征提取器将用于下游任务，例如图像分割、目标检测、图像分类等任务

文章目录前言Swin Transformer的结构Patch Merging前言Swin Transformer是微软研究院于2021年3月推出的Transformer模型，用于处理CV中的任务，例如图像分类、图像分割、语义分割等等，该模型的性能非常惊人，其结果如下：ImageNet-1k上，预训练准确率可达86.4%COCO目标检测数据集上，box AP可达58.7%，比sota高出2.7%，mAP可达51.1，比sota高出2.6%ADE20K语义分割数据集上，mIOU可达53.5%，比so

文章目录前言ViT的结构ViT的输入分类使用的feature vector实验前言ViT使用Transformer的Encoder做图像识别，这篇文章发表在ICLR 2021上，是一片oral文章，具体可见我是链接其实个人看完transformer后，感觉Transformer更像是一个是一个广义卷积神经，Q、K、V矩阵完全可以看成由多个卷积堆叠在一起组成，只是相比于CNN，Transformer在网络的浅层就通过注意力机制建立了全局视野，其实完全可以尝试在CNN的浅层施加注意力机制，从而建立全局视野

文章目录前言self attention前言目前transformer在计算机视觉中非常火热，在面试过程中，也被面试官询问过相应内容，在此做一个简单的总结self attentionTransformer中的self attention和CV中的attention机制非常近似，都是通过建立一组输入数据之间的联系，来决定哪部分数据更为重要。本节将介绍self attention的具体流程首先，self attention中存在三个非常重要的vector，分别是key vector、query vec

文章目录前言GMVAE的生成过程GMVAE的损失函数reconstruction termconditional prior term前言传统的VAE，隐变量服从标准高斯分布（单峰），但有时候，单个高斯分布可能不能完全表达图像x的特征，比如MINIST数据集有0~9这10个数字，直觉上使用10个高斯分布来替代单个高斯分布更为合理，因此有学者将混合高斯分布模型（GMM）与VAE进行结合，其结果便是GMVAE。FBI warning本文为代码与论文结合进行理解的产物，如有错误，欢迎指出。本文不会进行EL

文章目录前言疑问：高准确率的大模型一定就是好teacher吗？问题二问题一这篇文章非常有意思，本文文字部分较多，主要记录了个人对于文章的一些思考前言《On the Efficacy of Knowledge Distillation》于2019年发表在ICCV上。通过实验，作者发现了一个“怪相”，准确率越高的模型并不一定就是好的teacher模型，对于同一个student模型而言，teacher模型越大，teacher模型的准确率越高，知识蒸馏得到的student模型性能却越差。作者认为是studen

文章目录前言什么是贝叶斯神经网络How to train BNNBNN的损失函数前言看了网上不少贝叶斯神经网络的文章，不少文章写的有点马虎，甚至一些说的不清不楚的文章，评论区许多人称赞是好文章，不禁让人怀疑他们是否真的看懂了文章。本文将总结贝叶斯神经网络，首先，我将简单介绍一下什么是贝叶斯神经网络（BNN）；接着我将介绍BNN是怎么训练的，BNN是怎么预测的；最后，我会介绍BNN背后的运作原理。如果您在阅读过程中发现了什么错误，请务必在评论区中指出，避免错误的观点在网上流传。什么是贝叶斯神经网络

文章目录前言VAE训练测试VAE背后的数学原理前言提到生成式模型，不少人第一映像便是GAN，除去GAN之外，VAE(Variational Auto-encoder)也是设计非常漂亮的生成式模型，两者均是超香的无监督模型，目前也有工作将两者进行结合，代表是VAE-GAN模型。本文将总结VAE的工作过程，以及其背后的数学原理。VAE上图详细展示了VAE的工作过程，其为AutoEncode...

文章目录前言猜想实验实验思路网络结构——position encoding network评价指标实验结果前言卷积神经网络在图像领域性能十分卓越，不仅可应用于图像识别，也可应用于目标检测与语义分割。目标检测与语义分割都需要定位目标在图像中的位置，而卷积神经网络在这两类任务中表现优异，是否意味着卷积神经网络可以编码目标的绝对位置（目标在图像中的位置，而不是目标相对于图像中的其他事物的位置）信息呢...

文章目录前言如何加速模型收敛增大batch sizeLinear scaling learning ratelearning rate warmupZero γγγNo bias decay实验如何提高模型的准确率Cosine Learning Rate DecayLabel SmoothingMixup Training参考资料前言寒假忙一个会议论文去了，到现在才有时间更新博客，大四生活和想...

文章目录主要工作知识蒸馏的一些简单介绍主要工作让小模型模仿大模型的输出（soft target），从而让小模型能获得大模型一样的泛化能力，这便是知识蒸馏，又称为模型压缩，本文在Hinton提出knowledge distillation方法（下文简称KD）的基础进行扩展，利用teacher模型特征提取器的中间层输出作为hints，结合KD，对比teacher模型更深但更窄的student模型进...

文章目录主要工作motivationmethod实验主要工作提出一种知识蒸馏的方法，可以压缩模型，让小模型达到与集成亦或是大型模型相似的性能提出一种新的集成学习方法，可以让模型训练速度更快，并且是并行训练本文只总结第一点motivation大型模型往往不适合线上部署，一方面是计算资源消耗大，另一方面是响应速度慢，因此Hinton便考虑是否可以将大模型的知识迁移到小模型上，这里有两...

文章目录主要工作methodchannel attention modulespatial attention module如何结合spatial attention module与channel attention module实验主要工作提出了一种具有注意力机制的前馈卷积神经网络——Convolutional Block Attention Module(CBAM)method注意力机...

文章目录主要工作CAM主要工作CAM与Grad-CAM用于解释CNN模型，这两个算法均可得出class activation mappingclass\ activation\ mappingclass activation mapping(类似于热力图)，可用于定位图像中与类别相关的区域（类似于目标检测），如下图所示：五颜六色的区域即为类别相关的区...

文章目录异常检测的基本概念主要工作什么是GAN（生成对抗网络）GAN优化的目标函数生成器优化的目标函数鉴别器优化的目标函数论文全称为：Schlegl et al. - 2017 - Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery异常检测的基本概念异常检...

文章目录什么是增量学习增量学习存在的问题灾难性遗忘（catastrophic forgetting）克服灾难性遗忘的策略策略一策略二论文主要工作网络架构细节算法细节名词解释总体流程实验个人理解什么是增量学习增量学习是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识，就和人类学习知识一样，学习完新知识后，我们仍然记得旧知识增量学习存在的问题灾难性遗忘（ca...