Toby的博客

Diffusion Models 的灵感来自non-equilibrium thermodynamics （非平衡热力学）。理论首先定义扩散步骤的马尔可夫链，以缓慢地将随机噪声添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。与 VAE 或流模型不同，扩散模型是通过固定过程学习，并且隐空间具有比较高的维度。总的来看，Diffusion Models 领域正处于一个百花齐放的状态，这个领域有一点像 GAN 刚提出来的时候，目前的训练技术让 Diffusion Models 直接跨越了 GAN 领

它们的区别在于合并子词的方式，基于BPE 的方法选择出现频次最高的连续字符进行合并，而基于语言模型的方法则是根据语言模型输出的概率选择要合并哪些子词。因为相互适应的神经元可以更好的描述训练数据中的现象，但是在测试数据上，由于很多现象是未见的，细微的扰动。所谓适定解，需要满足三个条件：解是存在的、解是唯一的、解是稳定的（即 y 微小的变化会导致 x 微小的变化，也被称作解连续）。常用的手段包括两种，一种是采用字词融合的方式构建词表，将未知单词转换为字符的序列并通过特殊的标记将其与普通的单词区分开来。

Transformer 模型仅仅使用自注意力机制和标准的前馈神经网络，完全不依赖任何循环单元或者卷积操作。很好地解决了单词间长距离依赖的问题。自注意力机制非常适合在 GPU 上进行并行化，因此模型训练的速度更快。

相比于全连接网络，卷积神经网络最大的特点在于具有局部连接（Locally Connected）和权值共享（Weight Sharing）的特性。

之后中间层会对词嵌入向量进行更深层的抽象，得到输入单词序列的中间表示。LSTM：seq2seq学习的方法，缓解了梯度消失/爆炸问题，通过遗忘门的设计让网络选择性的记忆信息，缓解了序列中长距离依赖的问题。对序列中某个位置的答案进行预测时需要记忆当前时刻之前的序列信息，这就是RNN网络诞生的背景。RNN处理序列问题的实例： 循环单元的输入由上一时刻的输出和当前时刻的输入组成。（2）句子的表示学习，即在词嵌入的基础上获取整个序列的表示。基于规则的-->基于实例的-->基于统计方法的-->基于神经网络的。

(3) 前缀解码器： 也称为非因果解码器架构，修正了因果解码器的掩码机制，使其能够对前缀标记执行双向注意力，并对生成的标记执行单向注意力。(4) 注意力机制和偏差： 原始的Transformer是全自注意力机制，GPT-3采用了稀疏注意力机制，即分解注意力，计算复杂度更低。- GPT -4模型API接口：gpt-4、gpt-4-0314、gpt-4-32k、gpt-4-32k-0314。如BERT、GPT-2。(2)基于启发式的方法: 基于语言的过滤、基于度量的过滤、基于统计的过滤、基于关键词的过滤。

在电商场景下需要对主商品进行审核、替换商品图背景等场景需求。就需要对商家提供的商品图进行抠图、替换背景等操作。当然有不少的第三方工具可供运营和产品使用，但都至少需要这样几个步骤，上传图片、选择抠图区域或边缘、等待抠图生成、下载抠图结果。且先不管商品图片涉及泄漏的问题，单是抠图效果如何也不是很好保证的。比如有这样一个商品图，我们希望抠出手机这个主商品，去掉背景色和背景物。期望得到的理想效果是这样：[这也是通过我们算法抠图后得到的一个效果图]比如这个抠图软件remove.bg，它抠完后的效果是这样的。