m0_63860007的博客

基于人类反馈的强化学习，简单来说就是对GPT生成的内容进行打分，符合标准的回答给予较多的回报，鼓励模型生成这种回答，对于不符合标准的回答给予较少的回报，抑制模型生成这种回答。模型的泛化能力指的是模型在训练集和测试集之间的性能表现。（1）当训练数据量和模型参数数量不断上涨时，gpt及大模型的表现会呈现出上涨的趋势，并在达到某一个点时发生突变，也是拥有“涌现能力、扩散趋有同样的上涨趋势，以及是否会有涌现能力是值得探索的，但是由于扩散模型的训练是非常消耗资源的，所以增大模型参数训练的优化问题也需要考虑进来。

GPT(Generativepre-Training)是指使用生成式预训练的语言模型，是NLP领城中的一种强大的模型。初代的GPT是在2018年由 OpenAI提出的,之后更新为GPT2GPT-3、InstructGPT，以及后续一系列变体模型(统称GPT-3.5系列)，最终发展到如今的智能对话搜索引擎ChatGPT，以及多模态引擎Visual ChatGPT和GPT-4。初代的GPT-1已经在多种任务中达到了SOTA，而之后的GPT甚至可以解决未经过训编的新任务(Zero-shot)，并可

在微调时，通常是在一个较小的、与预训练模型类似的数据集上对模型进行微调，以适应特定的任务微调技术的具体实现方式是将预训练模型的所有或部分层参数作为初始参数，然后通过训练过程更新这些参数，使其适应特定的任务。例如，对于模型中的线性变换Y=AX，可以按列或行拆分矩阵A，并将其分别放置在两个不同的GPU上进行计算，然后在两个GPU之间进行通信以获得最终结果,这种方法可以扩展到更多的GPU和其他可拆分的操作符上。例如，在扩散模型前向过程中完全抹去数据中的信息，并将其等效于先验分布的假设，可能并不总是成立的。

1.基于深度学习的分子性质预测和新分子生成算法,指通过利用神经网络模型等习大量分子数据在保证分子稳定性和活性的前提下，生成新的药物分子,并预测新分子的药效和毒副作用等，以此减少新药物的研发时间和成本的算法。人工智能药物研发是指利用人工智能技术研发新药物的过程和方法，人工智能拔术可以用于药物研发的不同阶段，包括药物发现、分子设计、药效预测、毒性评估等可以加速药物研发的过程、提高药物的效力和安全性。基于扩散模型的医学影像重建，Song 等人利用基于分数的生成模型来重建与观察到的测量结果一致的影像图。

(x|x~)是通过恢复似然训练的，即在给定高噪声样本后，使用低噪声数据x的条件似然值作为目标函数，其目的是在给定更高噪声的噪声数据的情况下，最大化特定低噪声水平下数据的条件概率。条件EBM可以较好地最大化恢复似然，这是因为原数据的分布可能是多模态的，而在给定加噪样本后，原数据的条件概率会比原数据的边际似更容易处理。同时 Gao 等人还证明了,当每次加入的噪声强度足够小时,扩散恢复似然的最大似然训练与 ScoreSDE的分数匹配训练是近似的，并进一步建立了基于能量的模型与扩散模型的关系。

GAN通常由两个神经网络组成:生成器G和判别器 D，生成器的目是生成与训练数据相似的新数据，而判别器的目标是区分生成器生成的伪造数据和实数据。对于潜在空间中的扩散模型，ELBO 中的交叉熵项是难以处理的，但如果将基于分数的生成模型看作是一个无限深的 VAE，那么交叉熵项可以被转化为一个可处理的分数匹配目标。在本章中，我们首先介绍其他5种重要的生成模型，包括变分自编码器抗网络、归一化流、自回归模型和基于能量的模型，分析它们的优点和局限性，并说明这些生成模型是如何通过纳入扩散模型而得到促进的。

该模型的前向过程向邻接矩阵的上三角矩阵，加入独立的高斯噪声来保证加噪矩阵也是对称的，然后使用神经网络来拟合加嗳矩阵的分数的数(有良定义的)。Niu等人证明了如果生成过程中使用的分数模型是置换不变的，那么生成的样本也是置换不变的，并采用了称为EDP-GNN的置换等变图神经网络来估计分数函数，实验结果表明，使用EDP-GNN来参数化噪高得分模型可以生成置换不变的无向无权图。比如，经典扩散模型所依赖的分数的函数仅在连续装据域才有定义，而对于离散型数据没有定义，或者数据位于低维流形式上时，就会出现问题。

解决的方案是，使用重要性采样，在Iikelihood weighting的基础上，变换时间t在从0到T上的分布，可以得到任意方式加权的损失。在 iDDPM中，Nichol和 Dhariwal提议，通过用某种形式的线性插值来参数化并学习逆向方差，使用一种混合目标对其进行训练，以得到更高的对数似然和更快的采样速度，且不损失样本质量。，一些同时期的工作证明，经过适当的加权，存在一个可高效计算的变分下界，我们可以直接使用修改的损失函数来训练我们的扩散模型，从而最大化。在扩散模型的经典框架中，逆向过程p。

在扩散模型中，我们希望优化生成样本分布的对数似然，也就是Eq0logp0，其中q0是真实样本的分布，p0是生成的样本的分布。下,产生数据集中的所有样本的概率是最大的。但在计算机中，多个概率的乘积结果并不方便计算和储存，例如，在计算过程中可能发生数值下溢的问题，即对比较小的、接近于0的数进行四舍五入后成为0。在经典的扩散模型(如DDPM)中，前向过程中的噪声进程是手工调试的，没有可训练的参数。似然函数是一个关于模型参数0的函数，当选择不同的参数0时，似然函数的值是不同的，它描述了在当前参数。

基于分数的生成模型(SGM)的核心是Stein分数(或分数函数)。给定一个概率密度函数p(x)，其分数函数定义为对数概率密度的梯度Vxlogp(x)。生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。

生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。

包括人脸生成、人脸替换、人物属性编辑、人脸操控、姿态探控等 AIGC 技术，以及编辑图像、视频内容、图像生成、图像增强、图像修复等 AIGC 技术，如美颜换脸、捏脸、复刻及修改图像风格、AI绘画等。,包括文本转音频、语音转换、语音属性编辑等生成或者编辑语音内容的AIGC技术，以及音乐合成、场景声音编辑等生成或者编辑非语音内容的AIGC技术，如智能配音主播、虚拟歌手演唱、自动配乐、歌曲生成等。,主要包括文章生成、文本风格转换、问答对话等生成或者编辑文本内容的 AIGC 技术，如写稿机器人、聊天机器人等。