sinat_30618203的博客

1）用TFS的方式对齐大规模的视觉编码器与LLM2）noisy数据用于对比学习，高质量数据用于生成式学习。

3）多轮对话通过对齐image-caption-box，还可以实现：通过训练时使用任意组合的图像-文本数据，可以：6）支持多图像输入通过训练时使用大量的中文和英文数据，可以：7）支持多语言转换。

1）用language-only GPT-4从图像-文本对中生成多模态language-image指令微调数据2）提出Large Language and Vision Assistant（LLaVA）框架，端到端的训练了连接vision encoder和LLM的大型多模态模型，用于图像和语言理解3）构建了两个评估benchmark。

探索visual tokenizer编码下的MIM（Masked Image Modeling）

探索基于contrastive/Siamese范式（而非masked auto-encoding范式）和ViT结构（而非卷积网络）的自监督学习。

借助无监督预训练来提升半监督学习的效果。

结合SimCLR和MoCo，实现SoTA。

无监督对比学习，高效提取视觉特征。

无监督表示学习在自然图像领域已经很成功，因为语言任务有离散的信号空间（words, sub-word units等），便于构建tokenized字典现有的无监督视觉表示学习方法可以看作是构建动态字典，字典的“keys”则是从数据（images or patches）中采样得到的，并用编码网络来代表构建的字典需要满足large和consistent as they evolve during training这两个条件。

NLP领域的自监督预训练非常成功，CV领域可以参考其masked autoencoding方法。主要挑战有：1）CNN不会直接用mask tokens或者positional embeddings，而是在规则网格上运算 -> Vision Transformers (ViT)2）Language是人为创造的，在语义和信息上非常密集，即便只训练模型预测一个句子中的个别缺失的单词，也能学到有用的信息；

用纯transformer结构的网络来进行图像分类任务。

提出一种新的网络结构，不用CNN或者RNN，只基于self-attention。

用transformer来替代U-Net backbone，提升生成效果。

让预训练好的大型DDPM模型支持额外的输入条件（如Canny edges、Hough lines、user scribbles、segmentation maps、human key points、shape normals、depths等）不同于image-to-image translation致力于学习不同domain之间的映射，ContrlNet旨在用task-specific condition来控制扩散模型。

过去的text-to-image生成方法需要image-caption对进行训练，无法用在没有text annotation的数据集上本文用一个统一的框架，可以选择用reference image / language / language + image指导图像生成模型。

对super-resolution增加guidance weight可以提高image-text alignment，但是破坏图像逼真度，得到高饱和度和不自然的图像，因为高guidance weights会导致x-prediction超过[-1, 1]的范围，导致训练集和测试集之间出现mismatch。1）用于评估image fidelity和image-text alignment（e.g. 渲染不同颜色，物品数量，空间关系，场景中的文本，不同物品之间不寻常的互动等）至[-s, s]之间，然后再除以s。

CLIP + DDPM进行text-to-image生成。

综合所有的text prompts来生成photorealistic images。

DM的train和infer均需大量的时间和显存。

通过在4亿图像/文本对上训练文字和图片的匹配关系来预训练网络，可以学习到SOTA的图像特征。预训练模型可以用于下游任务的零样本学习。

1）Classifier Guidance的问题a）需要额外训练一个分类器（要基于噪声图像训练，因此无法用现成的预训练分类器），使得扩散模型的训练pipeline更加复杂2）此外，像GAN和基于flow的模型，可以通过在采样时降低方差或者噪声输入的范围来实现truncation或者低温采样，从而平衡生成结果的variaty和fidelity。而在diffusion的reverse过程中对模型score进行缩放或者降低高斯噪声的方差则会生成模糊和低质量的图像。

对DDPM进行优化，重点优化log-likelihood2）减少采样步数，加速infer3）在high-diversity数据集，如imagenet上，获得了良好的结果。

针对diffusion models不如GAN的原因进行改进：1）充分探索网络结构2）在diversity和fidelity之间进行trade off。

扩散过程随时间进行（连续化）time-dependent神经网络估计score，用SDE求解反向生成过程。

DDPM生成图像需要模拟Markov链，因此要经过多轮推理（因为条件概率仅仅与系统的当前状态相关），且推理过程是sequentially而不是parallel的DDIM在不改变DDPM训练的基础上，减少了infer次数，在极大地增加了采样效率的同时，几乎不影响采样效果。

直接看paper看得云里雾里，一语道破天机（建议从30min左右开始看GAN到Diffusion的串讲）。VAE的核心思路就是下面：做生成，其实就是从随机向量（z）到目标图像（x）的过程，那么z就是先验，x就是后验。

文章用了大篇幅的理论证明了概率分布在EM distance下是收敛的，而在其他几个distance下是不收敛的。GAN的训练是delicate和unstable的。需要定义一个连续的距离。4）Earth-Mover（EM）距离 / Wasserstein-1。，来衡量模型distribution和真实distribution之间的差异。3）显著减少了模式坍塌现象。1）无须平衡D和G的训练。2）无须慎重设计网络结构。

直接看paper云里雾里，一些推荐的讲解： The Annotated Diffusion Model 生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼 生成扩散模型漫谈（二）：DDPM = 自回归式VAE 生成扩散模型漫谈（三）：DDPM = 贝叶斯 + 去噪 已知确定的forward / diffusion过程：训练图像，逐步加噪声，最终得到高斯噪声图像 求解reverse过程：采样高斯噪声图像，逐步去噪，最终得到生

即求解得分函数（Score function）。得分函数是数据的log密度的梯度（the gradient of the log-density with respect to the data vector），即。DDPM的一般化形式。DDIM的一般化形式。

解耦出了生成网络中style的影响因素，并可以利用这一点实现不同生成图像的风格融合注意：该网络还是从噪声生成随机图像，只是可以把已经生成的随机图像的latent code相融合，得到介于两者之间的新类型图像；而不是根据手头的图像来实现风格融合。

在大型数据集上训练class-conditional GAN，并探索相关的trick。

Turkers were presented with a series of trials that pitted a “real” image against a “fake” image generated by our algorithm Train classifiers on real images. Score synthesized photos by the classification accuracy against the labels these photos wer

以往的image-to-image translation需要有aligned image pairs。本文设计的方法可以用于unpaired（只提供image sets X和Y）风格转换。传统的GAN虽然也可以实现X -> Y的转换，但：1）无法保证生成的y和x是对应关系（same underlying scene）2）可能出现mode collapse。

unconditioned GAN生成的图像模式是不可控的。

过去的super-resolution (SR)算法通过最小化mean squared error (MSE)来进行优化，尽管可以提高peak signal-to-noise ratio (PSNR)，但pixel-wise的图像监督无法捕捉到更精细的纹理细节。

GAN的训练很不稳定，很容易得到毫无意义的结果。

instance normalization

1、主要创新 相比于FC-LSTM，引入卷积层，1）可以充分利用空间关联，2）能够输出图像序列，3）减少参数冗余2、网络1）输入时空序列，特征数目=P，图像大小=MxN，即​​​​​​​​​​​​​​ 2）输出 3）网络设计 i: input ga...

blabla

1、目的无监督图像转换：source类 -> target类；其中target类的样本很少，只在test时用到；训练source类 -> 多个another类，其中another类的样本也较少；==> 通用的外观提取模型2、原理/基础1）人看到新物体（target class），可以基于以往的知识（trained model），脑补出新物体的不同姿势（generated picture）...