OpenAI “终结扩散模型” 的 Consistency Model 是什么，又跟 AIGC 和 AI4S 有什么关系？

原创 已于 2023-08-22 14:02:15 修改 · 524 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AIGC #人工智能 #ai #图像处理

于 2023-06-28 17:59:26 首次发布

最近，OpenAI “低调发布”了图像生成领域的一项工作 —— Consistency Model。 作者包括 AI 届当红 Star 宋飏，以及 “GPT 之父”、OpenAI 首席科学家 Ilya Sutskever。

当下的图像生成领域十分火热，不仅涌现出大量的创新算法，也出现了像 Midjourney、Stable Diffusion 这样极富冲击力的项目，还催生了AIGC（AI generated content）这一行业新赛道。值得关注的是，这些项目背后，扩散模型（diffusion model） 起到了很大的作用。然而，通常扩散模型依赖迭代生成过程，导致采样速度较慢，也限制了它们在实时应用场景中的发挥空间。

OpenAI 的这个工作，被评价是“扩散模型的终结”。

让我们来看一些 Consistency Models 论文中使用一致性模型处理的图像：

左边：灰度图像；中间：上色后的图像；右边：真实场景图像

左边：降采样图像（32x32）；中间：全分辨率图像（256x256）；右边：真实场景图像（256x256）

左边：用户提供的笔画输入；右边：笔画引导的生成图像

我们将试着返璞归真，用一个简单的数据集和直接可运行的代码，说明 Consistency Models 的一些相关的背后技术，并进一步介绍其原理。

那么，Consistency Model 真是扩散模型的终结吗？它与 AI for Science 又有着怎样千丝万缕的联系？欢迎你点进notebook、探个究竟。你无需担心环境配置和依赖问题，仅需要专注于学习本身。依靠免费的 2 核 4G 计算资源，你可以在平台上直接运行和修改代码。

Notebook链接：OpenAI“终结扩散模型”的Consistency Model是什么，又跟AIGC和AI4S有什么关系Image Generation,Stable Diffusion,Consistency Modelhttps://nb.bohrium.dp.tech/detail/1301?utm_source=csdn

欢迎关注我们的微信公众号NBHub，获取更多有趣的 Notebook 实践～感兴趣的童鞋可以查看原文：OpenAI “终结扩散模型” 的 Consistency Model 是什么，又跟 AIGC 和 AI4S 有什么关系？

consistency model
liguandong
12-06 734
注意上图，从data到noise是加噪过程是PFODE，逆向SDE可以等价成ODE形式，在去噪的每个节点上都可以进过函数f映射回样本data，即每个点都可以是加噪轨迹的起点，因为每个点都可以通过f映射回样本（在去噪时能和样本关联上），这个就是consistency约束。将扩散模型的前向扩散过程建模为连续的随机微分方程，这个前向的SDE存在一个反向的形式，这个反向的SDE为去噪过程提供了数值解，所以可以根据反向SDE的数值解一步一步去噪。但是，扩散模型存在的问题也是很明显的，那就是采样速度慢。
【终结扩散模型】Consistency Models.OpenAI开源新模型代码，一步成图，1秒18张
zik的博客
04-15 3164
在 AI 画图的领域，人们一直关注的是扩散模型，人们一直在尝试不断改进，推出了 Stable Diffusion、Midjourney、DALL-E 等技术，并在其基础上构建应用。不过最近，OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。作者阵容也非常强大，有本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋飏。
Consistency Models
singxsy的博客
04-23 1731
图像编辑等假设存在一个函数f，对于同一条PF ODE轨迹上的任意点都有相同的输出fxttfxt′t′for alltt′∈ϵTfxt​tfxt′​t′for alltt′∈ϵTconsistency model的目标是从数据中估计一致性函数fff，来迫使self-consistency性质。
深入浅出了解生成模型-4：一致性模型（consistency model）
weixin_42514877的博客
07-03 229
总的来说consistency model作为一种diffusion model生成（区别与DDPM/DDIM）加速操作，在理论上首先将随机生成过程变成“确定”过程，这样一来生成就是确定的，从T→t0所有的点都在“一条线”上等式fxttfxt′t′其中tt′∈ϵT成立那么就保证了模型不需要再去不断依靠t1生成内容去推断t时刻内容（具体可以参考算法流程图）。而后续的LCM/LCM-Lora/TCD[7]
Consistency Models终结扩散模型
qq_41146932的博客
08-22 668
扩散模型在图像、音频和视频生成方面取得了重大突破，但它们依赖于迭代生成过程，导致采样速度较慢，限制了其实时应用的潜力。为了克服这一限制，我们提出了一致性模型，这是一种新的生成模型家族，可以在没有对抗性训练的情况下实现高样本质量。它们在设计上支持快速的一步生成，同时仍然允许少步采样以换取样本质量的计算。它们还支持零样本数据编辑，如图像修补、着色和超分辨率，而不需要对这些任务进行明确的训练。我们的目标是创建生成模型，以促进高效的单步生成，而不牺牲迭代细化的重要优势。
【Consistency Models】复现指导以及效果分析。
zik的博客
05-08 3059
总的来说，Consistency Models速度的确特别快，也真的是一步成图，或许以后能够替代Diffusion Model火起来？
AI工具-用 Azure OpenAI 服务开发生成式 AI
06-14 2409
Azure OpenAI 服务为企业提供了一个强大且灵活的平台，用于开发生成式 AI 解决方案。通过正确的设置、集成和优化，企业可以显著提升业务效率，改善客户体验，并推动创新。无论是初创公司还是大型企业，都可以利用 Azure OpenAI 服务实现其业务目标，迈向智能化未来。
扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5401
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
c++ & Memory consistency model
seizeF的专栏
02-13 1916
c++11中一个最重要的特性就是加入了多线程的支持，并定义了c++的memory model。memory model定义了一个处理器上对内存的操作如何被其他处理观察到， The memory model, or memory consistency model, specifies the values that a shared variable read in a multit
【论文阅读】Consistency Models
上总介的博客
01-14 2106
Consistency Models
图像生成：Consistency Models（一致性模型）
WiSirius的博客
11-28 4192
扩散模型在图像、音频和视频生成方面取得了重大突破，但它们依赖于迭代生成过程，导致采样速度较慢，限制了其实时应用的潜力。为了克服这一限制，我们提出了一致性模型，这是一种新的生成模型家族，可以在没有对抗性训练的情况下实现高样本质量。它们在设计上支持快速的一步生成，同时仍然允许少步采样以换取样本质量的计算。它们还支持零样本数据编辑，如图像修补、着色和超分辨率，而不需要对这些任务进行明确的训练。在SD中，
深度学习（生成式模型）—— Consistency Models
菜到怀疑人生的博客
02-04 4202
Diffusion model需要多次推断才能生成最终的图像，这将耗费大量的计算资源。前几篇博客我们已经介绍了加速Diffusion model生成图像速率的DDIM和Stable Diffusion，本节将介绍最近大火的Consistency Models（代表模型：Dalle-3），其允许Diffusion model仅经过一次推断就生成最终的图像，同时也允许少量多次推断来生成最终的图像。
Memory Consistency Model 内存一致性模型
This is Chuanqiz's Blog
01-09 1503
Memory Consistency Model 内存一致性模型Conception 概念内存一致性模型描述的是程序在执行过程中内存操作正确性的问题。内存操作包括读操作和写操作，每一操作又可以用两个时间点界定：发出（Invoke）和响应（Response）。在假定没有流水线的情况下（即单个处理器内指令的执行是按顺序执行的），设系统内共有N个处理器，每个处理器可发出 s_{n}_个内存操作（读或写
内存一致性模型笔记 (Memory Consistency Model)
qq_29328443的博客
07-27 4540
参考文档： [1] Multiprocessors should support simple memory consistency models [2] Shared Memory Consistency Models: A Tutorial 一、什么是内存模型？ 内存模型 (memory model)，也叫内存一致性模型 (memory consistency model)，它可以简单的理解为一系列对内存读写操作的规定，包括针对内存读写操作的重排序规则、可见性规则（一次读操作能否看到最近一次写入的结果？
一文读懂Memory consistency model (内存模型)
W1Z1Q的专栏
04-07 4233
本文介绍了计算机系统中各种常见的memory model(内存模型)以及优缺点。
enforce_gtid_consistency这是MySQL什么参数？
最新发布
07-08
<think>我们正在讨论MySQL中的`enforce_gtid_consistency`参数。根据引用内容，这个参数与GTID（全局事务标识符）有关，主要用于保证数据复制的一致性。具体来说： 1. **作用**：当启用`enforce_gtid_consistency`（设置为`ON`）时，MySQL会强制要求所有事务都符合GTID的一致性要求。这意味着： - 不允许在一个事务中同时更新事务表（如InnoDB）和非事务表（如MyISAM）。 - 禁止执行某些可能破坏GTID一致性的SQL语句，例如： - `CREATE TABLE ... SELECT`语句（因为它实际上是一个非原子操作，由两个独立事件组成：创建表和插入数据）。 - 创建或删除临时表（`CREATE TEMPORARY TABLE`和`DROP TEMPORARY TABLE`）在事务内部（因为临时表操作无法被正确记录在二进制日志中以保证复制安全）[^1][^3][^4]。 2. **触发条件**：当执行被禁止的SQL语句时，MySQL会抛出错误（如用户遇到的`java.sql.SQLException`）。 3. **配置方法**： - **动态设置**（无需重启MySQL）： ```sql -- 开启 SET @@GLOBAL.ENFORCE_GTID_CONSISTENCY = ON; -- 关闭 SET @@GLOBAL.ENFORCE_GTID_CONSISTENCY = OFF; ``` - **配置文件设置**（需重启MySQL）： 在`my.cnf`（或`my.ini`）中添加： ```ini [mysqld] enforce_gtid_consistency = ON # 或 OFF ``` 4. **使用建议**： - 如果使用基于GTID的复制（如主从同步），建议保持此参数为`ON`以确保复制数据的一致性。 - 若业务中必须使用临时表或`CREATE TABLE ... SELECT`，可考虑： - 拆分操作（如先建表再插入）[^1]。 - 在非事务上下文中执行（设置`autocommit=1`）[^3]。 - 临时关闭该参数（需评估对复制的影响）[^1]。 5. **注意事项**：关闭`enforce_gtid_consistency`可能导致GTID复制中断或数据不一致，因此生产环境慎用[^1][^4]。 ### 总结 `enforce_gtid_consistency`是MySQL GTID复制安全的重要保障，限制非事务安全操作，但可能影响特定SQL语句的执行。用户需根据复制需求权衡是否启用。 --- ### §§相关问题§§ 1. GTID复制相比传统复制有哪些优势？ 2. 如何在线开启MySQL的GTID模式？ 3. MySQL中事务表与非事务表有何区别？ 4. 除了`enforce_gtid_consistency`，还有哪些参数影响GTID复制？ 5. 如何解决`CREATE TABLE ... SELECT`在GTID模式下的报错问题？</think>### MySQL `enforce_gtid_consistency` 参数详解 #### 一、核心作用 `enforce_gtid_consistency` 是 MySQL 中与 GTID（Global Transaction Identifier）复制相关的关键参数，主要功能是**强制保证事务的全局一致性**。当启用该参数（设置为 `ON`）时，MySQL 会限制某些可能破坏 GTID 复制一致性的 SQL 操作[^1][^3][^4]。 #### 二、工作原理 1. **GTID 复制要求**： - GTID 复制要求每个事务都有全局唯一标识 - 所有事务必须能被精确记录和复制 2. **参数启用时的限制**： ```sql SET @@GLOBAL.ENFORCE_GTID_CONSISTENCY = ON; -- 开启限制 ``` 此时禁止以下操作： - ❌ `CREATE TABLE ... SELECT` 语句 - ❌ 事务中混合更新事务表（如 InnoDB）和非事务表（如 MyISAM） - ❌ 在事务内创建/删除临时表（`CREATE/DROP TEMPORARY TABLE`） - ❌ 在存储过程/触发器中使用临时表（被视为多语句事务）[^1][^4] #### 三、典型错误场景 1. **违反一致性操作**： ```sql -- 错误示例（在事务中操作临时表） START TRANSACTION; CREATE TEMPORARY TABLE temp_users SELECT * FROM users; -- 触发报错 COMMIT; ``` 报错信息： ``` ERROR 1785 (HY000): When @@GLOBAL.ENFORCE_GTID_CONSISTENCY = 1, updates to non-transactional tables can only be done in autocommitted statements... ```[^3] 2. **备份操作失败**： ```sql -- 错误备份方式 CREATE TABLE backup AS SELECT * FROM orders; -- 被禁止 ``` 需改为： ```sql CREATE TABLE backup LIKE orders; -- 先建表结构 INSERT INTO backup SELECT * FROM orders; -- 再插入数据[^1] ``` #### 四、配置方法 | 配置方式 | 操作命令 | 生效条件 | |-------------------|--------------------------------------------------------------------------|----------------| | **动态设置** | `SET @@GLOBAL.ENFORCE_GTID_CONSISTENCY = ON/OFF;` | 立即生效 | | **配置文件设置** | 在 `my.cnf` 中添加：<br>`[mysqld]`<br>`enforce_gtid_consistency = ON` | 需重启 MySQL | #### 五、使用建议 1. **启用场景**： - 使用 GTID 复制的主从集群 - 需要严格保证数据一致性的生产环境 2. **禁用场景**： - 开发/测试环境 - 需使用临时表或 `CREATE TABLE...SELECT` 语法的业务 ```sql SET @@GLOBAL.ENFORCE_GTID_CONSISTENCY = OFF; -- 关闭限制[^1] ``` 3. **替代方案**： ```sql /* 安全操作示例 */ SET autocommit = 1; -- 确保在自动提交模式 CREATE TEMPORARY TABLE temp_data (id INT); -- 允许执行 ``` #### 六、注意事项 1. **与复制模式的关联**： - GTID 复制必须开启该参数 - 传统复制（binlog position）可关闭 2. **存储引擎限制**： - 事务中禁止混合使用 InnoDB 和 MyISAM 表[^4] - 建议统一使用 InnoDB 存储引擎 3. **备份工具兼容性**： - 使用 `mysqldump` 时需添加 `--set-gtid-purged=OFF` 参数[^2] - 或使用物理备份工具如 Percona XtraBackup > **关键结论**：该参数是 MySQL GTID 复制的安全卫士，通过限制非常规操作保证全局事务一致性。生产环境建议保持开启，通过调整业务 SQL 规避限制[^1][^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

farfarcheng

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值