新特性解读 | 8.0 新增 DML 语句(TABLE & VALUES)

作者:杨涛涛

资深数据库专家,专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生,为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。

本文来源:原创投稿

*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。


背景

MySQL 8.0.19 release 发布了两条新的 DML 语句。一条 TABLE 语句,一条 VALUES 语句。这里不要把这两条语句混淆了。

TABLE 不是广义的表,而仅仅是一条语句,应用于需要全表扫描的场景。

还有 VALUES 语句也不要混淆为 INSERT...VALUES...这样的传统插入语句。VALUES 是一个全新的模拟记录集的语句,类似于其他数据库比如 PGSQL 的 ROW 语句。

 

一、应用场景

1. TABLE 语句

  • 具体用在小表的全表扫描,比如路由表、配置类表、简单的映射表等。

  • 用来替换是被当做子查询的这类小表的 SELECT 语句。

2. VALUES 语句

  • VALUES 类似于其他数据库的 ROW 语句,造数据时非常有用。

 

二、语法使用

那现在针对这两类 DML 语句,结合实际例子说明下其具体用途。

2.1 TABLE 语句

具体语法:

TABLE table_name [ORDER BY column_name] [LIMIT number [OFFSET number]]

其实从语法上看,可以排序,也可以过滤记录集,不过比较简单,没有 SELECT 那么强大。

示例 1

简单的建一张很小的表 y1,记录数为 10 条。

表 t1,插入 10 条记录

mysql-(ytt/3305)->create table t1 (r1 int,r2 int);
Query OK, 0 rows affected (0.02 sec)

mysql-(ytt/3305)->insert into t1
with recursive aa(a,b) as (
select 1,1
union all
select a+1,ceil(rand()*20) from aa where a < 10
) select * from aa;
Query OK, 10 rows affected (0.00 sec)
Records: 10 Duplicates: 0 Warnings: 0

简单全表扫描

mysql-(ytt/3305)->select * from t1;
+------+------+
| r1 | r2 |
+------+------+
| 1 | 1 |
| 2 | 9 |
| 3 | 9 |
| 4 | 17 |
| 5 | 17 |
| 6 | 16 |
| 7 | 6 |
| 8 | 1 |
| 9 | 10 |
| 10 | 3 |
+------+------+
10 rows in set (0.00 sec)

TABLE 结果

mysql-(ytt/3305)->table t1;
+------+------+
| r1 | r2 |
+------+------+
| 1 | 1 |
| 2 | 9 |
| 3 | 9 |
| 4 | 17 |
| 5 | 17 |
| 6 | 16 |
| 7 | 6 |
| 8 | 1 |
| 9 | 10 |
| 10 | 3 |
+------+------+
10 rows in set (0.00 sec)

看下 table 的执行计划

mysql-(ytt/3305)->explain table t1 order by r1 limit 2\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: t1
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 10
filtered: 100.00
Extra: Using filesort
1 row in set, 1 warning (0.00 sec)

其实可以看到 TABLE 内部被 MySQL 转换为 SELECT 了。

mysql-(ytt/3305)->show warnings\G
*************************** 1. row ***************************
Level: Note
Code: 1003
Message: /* select#1 */ select `ytt`.`t1`.`r1` AS `r1`,`ytt`.`t1`.`r2` AS `r2` from `ytt`.`t1` order by `ytt`.`t1`.`r1` limit 2
1 row in set (0.00 sec)

那其实从上面简单的例子可以看到 TABLE 在内部被转成了普通的 SELECT 来处理。

示例 2

应用于子查询里的子表。这里要注意,内表的字段数量必须和外表过滤的字段数量一致。

克隆表 t1 结构

mysql-(ytt/3305)->create table t2 like t1;
Query OK, 0 rows affected (0.02 sec)

克隆表 t1 数据

mysql-(ytt/3305)->insert into t2 table t1;
Query OK, 10 rows affected (0.00 sec)
Records: 10 Duplicates: 0 Warnings: 0

table t1 被当做内表,表 t1 有两个字段,必须同时满足 t2 检索时过滤的字段也是两个。

mysql-(ytt/3305)->select * from t2 where (r1,r2) in (table t1);
+------+------+
| r1 | r2 |
+------+------+
| 1 | 1 |
| 2 | 9 |
| 3 | 9 |
| 4 | 17 |
| 5 | 17 |
| 6 | 16 |
| 7 | 6 |
| 8 | 1 |
| 9 | 10 |
| 10 | 3 |
+------+------+
10 rows in set (0.00 sec)

注意:这里如果过滤的字段数量和子表数量不一致,则会报错。

2.2 VALUES 语句

具体语法:

VALUES row_constructor_list
[ORDER BY column_designator]
[LIMIT BY number] row_constructor_list:
ROW(value_list)[, ROW(value_list)][, ...]
value_list:
value[, value][, ...]
column_designator:
column_index

VALUES 语句,用做功能展示或者快速造数据场景,结果列名字以 COLUMN_0 开头,以此类推,举个简单例子。

单条 VALUES 语句

mysql-(ytt/3305)->values row(1,2,3);
+----------+----------+----------+
| column_0 | column_1 | column_2 |
+----------+----------+----------+
| 1| 2| 3|
+----------+----------+----------+
1 row inset(0.00 sec)

多条 VALUES 语句

mysql-(ytt/3305)->values row(1,2,3),row(10,9,8);
+----------+----------+----------+
| column_0 | column_1 | column_2 |
+----------+----------+----------+
| 1 | 2 | 3 |
| 10 | 9 | 8 |
+----------+----------+----------+
2 rows in set (0.00 sec)

多条 VALUES 联合 UNION ALL

mysql-(ytt/3305)->values row(1,2,3),row(10,9,8) union all values \
row(-1,-2,0),row(10,29,30),row(100,20,-9);
+----------+----------+----------+
| column_0 | column_1 | column_2 |
+----------+----------+----------+
| 1 | 2 | 3 |
| 10 | 9 | 8 |
| -1 | -2 | 0 |
| 10 | 29 | 30 |
| 100 | 20 | -9 |
+----------+----------+----------+
5 rows in set (0.00 sec)

根据字段下标排序,从 1 开始

mysql-(ytt/3305)->values row(1,2,3),row(10,9,8) union all values \
row(-1,-2,0),row(10,29,30),row(100,20,-9) order by 1 desc ;
+----------+----------+----------+
| column_0 | column_1 | column_2 |
+----------+----------+----------+
| 100 | 20 | -9 |
| 10 | 9 | 8 |
| 10 | 29 | 30 |
| 1 | 2 | 3 |
| -1 | -2 | 0 |
+----------+----------+----------+
5 rows in set (0.00 sec)

类型可以任意组合:bit,json,datetime,int,decimal 等

mysql-(ytt/3305)->values row(100,200,300),\
row('2020-03-10 12:14:15','mysql','test'), \
row(16.22,TRUE,b'1'), \
row(left(uuid(),8),'{"name":"lucy","age":"28"}',hex('dble'));
+---------------------+----------------------------+--------------------+
| column_0 | column_1 | column_2 |
+---------------------+----------------------------+--------------------+
| 100 | 200 | 0x333030 |
| 2020-03-10 12:14:15 | mysql | 0x74657374 |
| 16.22 | 1 | 0x01 |
| c86fd1a7 | {"name":"lucy","age":"28"} | 0x3634363236433635 |
+---------------------+----------------------------+--------------------+
4 rows in set (0.00 sec)

新建表 t3,把刚才这些记录写进去

mysql-(ytt/3305)->create table t3 (r1 varchar(100),r2 varchar(100),r3 varchar(100));
Query OK, 0 rows affected (0.02 sec)

写入到表 t3

mysql-(ytt/3305)->insert into t3 values row(100,200,300), \
row('2020-03-10 12:14:15','mysql','test'), \
row(16.22,TRUE,b'1'),\
row(left(uuid(),8),'{"name":"lucy","age":"28"}',hex('dble'));
Query OK, 4 rows affected (0.00 sec)
Records: 4 Duplicates: 0 Warnings: 0

 

总结

这里介绍了 MySQL 8.0.19 里发布后新增的两条 DML 语句 TABLE 和 VALUES,希望对大家有帮助。

&lt;think&gt; 我们参考上述提供的引用资料,了解到binlog记录了所有修改数据库的SQL语句(DDL和DML),并且可以通过工具解析。用户需求是用Java程序监控MySQL 8.0的binlog,并将数据库操作转化为可执行的SQL语句打印出来。 根据引用[3]中提到,有一个开源的Python工具binlog2sql可以解析binlog,但用户希望用Java实现。因此,我们需要寻找Java中类似的开源库或者使用MySQL官方提供的API来实现。 在Java中,我们可以使用开源库mysql-binlog-connector-java(也称为binlog-connector-java)来监听MySQL的binlog事件,然后解析这些事件并生成SQL语句。 步骤: 1. 确保MySQL服务器开启了binlog,并且binlog格式为ROW(因为ROW格式包含更详细的信息,便于解析为SQL)。 根据引用[5]我们可以配置binlog_format=ROW。 2. 在Java项目中引入mysql-binlog-connector-java依赖(例如Maven依赖)。 3. 编写代码连接到MySQL服务器,订阅binlog事件。 4. 解析binlog事件(如WriteRowsEvent、UpdateRowsEvent、DeleteRowsEvent等)并生成对应的SQL语句。 5. 打印生成的SQL语句。 注意:由于binlog的ROW格式记录的是每行数据的变化(而非SQL语句),因此我们需要根据事件类型和表结构信息来生成SQL语句。这要求我们能够获取表结构(列名、类型等)信息,通常可以在事件发生前查询information_schema数据库,或者利用事件中提供的表ID去映射表结构(但注意,表ID在binlog中可能会变化,所以需要在程序启动时或表结构变化时更新缓存)。 另一种做法是使用Mixed或Statement格式,但Statement格式在安全性和某些情况下可能不够准确,而且MySQL 8.0默认是ROW格式。另外,引用[4]提到,管理语句(如GRANT)会以SBR(即Statement)格式记录,因此我们可能同时需要处理两种格式。但为了通用性,我们以ROW格式为主。 下面我们给出一个基于mysql-binlog-connector-java的简单示例代码。 首先,添加Maven依赖: ```xml &lt;dependency&gt; &lt;groupId&gt;com.github.shyiko&lt;/groupId&gt; &lt;artifactId&gt;mysql-binlog-connector-java&lt;/artifactId&gt; &lt;version&gt;0.25.4&lt;/version&gt; &lt;/dependency&gt; ``` 注意:这个库已经不再维护,但其0.25.4版本支持MySQL 8.0。也可以考虑使用其他库,例如zendesk/maxwell所使用的开源库,或者使用官方驱动配合。 然后,编写代码: ```java import com.github.shyiko.mysql.binlog.BinaryLogClient; import com.github.shyiko.mysql.binlog.event.*; import com.github.shyiko.mysql.binlog.event.deserialization.EventDeserializer; public class BinlogMonitor { public static void main(String[] args) throws Exception { // 配置MySQL连接信息 String hostname = &quot;localhost&quot;; int port = 3306; String username = &quot;root&quot;; String password = &quot;password&quot;; // 创建binlog客户端 BinaryLogClient client = new BinaryLogClient(hostname, port, username, password); // 设置事件反序列化器,保证正确解析事件 EventDeserializer eventDeserializer = new EventDeserializer(); eventDeserializer.setCompatibilityMode( EventDeserializer.CompatibilityMode.DATE_AND_TIME_AS_LONG, EventDeserializer.CompatibilityMode.CHAR_AND_BINARY_AS_BYTE_ARRAY ); client.setEventDeserializer(eventDeserializer); // 注册事件监听器 client.registerEventListener(new BinaryLogClient.EventListener() { @Override public void onEvent(Event event) { EventHeader header = event.getHeader(); EventType eventType = header.getEventType(); // 根据事件类型处理 if (eventType == EventType.TABLE_MAP) { // 表映射事件,记录表结构信息(用于后续事件解析) TableMapEventData tableMapEvent = event.getData(); // 这里可以缓存表信息,例如表ID到表名和列信息的映射 // 注意:实际应用中需要处理表结构变化等情况 } else if (eventType == EventType.EXT_WRITE_ROWS || eventType == EventType.WRITE_ROWS) { // 插入事件 WriteRowsEventData writeData = event.getData(); // 根据表映射缓存的信息,生成INSERT语句 // 这里需要表结构信息(列名、列类型等)和行的数据 // 生成SQL并打印 } else if (eventType == EventType.EXT_UPDATE_ROWS || eventType == EventType.UPDATE_ROWS) { // 更新事件 UpdateRowsEventData updateData = event.getData(); // 生成UPDATE语句 } else if (eventType == EventType.EXT_DELETE_ROWS || eventType == EventType.DELETE_ROWS) { // 删除事件 DeleteRowsEventData deleteData = event.getData(); // 生成DELETE语句 } // 注意:这里忽略了其他事件类型,例如QUERY事件(对应DDL语句)等 } }); // 启动客户端,开始监听binlog client.connect(); } } ``` 上述代码框架中,我们处理了插入、更新和删除事件,但生成SQL语句的部分需要详细解析事件数据。由于事件数据中只包含行的值(字节数组),我们需要结合表结构信息来解析每一列的值,并构建SQL。 生成SQL的难点: 1. 需要获取表名和列名:通过TABLE_MAP事件,我们可以获取表ID和数据库名、表名,但列信息(列名、类型)需要另外获取(可以通过查询information_schema.columns来缓存)。 2. 解析行数据:需要根据列类型将字节数组转换为Java对象(如String、Integer等),然后格式化到SQL语句中。 考虑到复杂性和时间,我们可以简化:在程序启动时,获取所有表的列信息并缓存。然后根据表ID来查找对应的列信息。 另外,对于UPDATE事件,事件数据中包含更新前后的行数据,我们需要根据主键(或唯一键)来生成WHERE条件。如果没有主键,则可能需要使用所有列的值(但这样在更新时可能不准确,因为binlog中可能包含多个相同值的行)。 因此,更完整的做法是: 1. 在表映射事件(TABLE_MAP)后,如果缓存中没有该表的列信息,则查询information_schema.columns并缓存(包括列名、类型、是否主键等)。 2. 在解析行事件时,根据列信息将字节数组解析为具体的值。 3. 对于UPDATE和DELETE事件,优先使用主键列作为条件,如果没有主键则使用所有列(ROW格式中整行数据都有)。 由于生成SQL的代码较为复杂,我们可以参考开源项目(如maxwell)的实现,或者使用已有的开源库。但这里出于示例目的,我们简化处理:假设表都有主键,并且只处理基本类型。 另外,注意MySQL 8.0的binlog默认使用了新的binlog版本(v4),因此需要确保使用的客户端库支持。 由于代码量较大,这里不展开完整的生成SQL代码,但提供一个大致的思路。 总结步骤: 1. 引入依赖。 2. 配置并启动binlog客户端连接到MySQL。 3. 处理事件:缓存表结构信息,解析行事件并生成SQL。 4. 打印SQL。 注意:MySQL用户需要具有REPLICATION SLAVE权限才能读取binlog。 配置用户权限: ```sql GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO &#39;username&#39;@&#39;host&#39;; ``` 另外,根据引用[5]中的配置,确保binlog是开启的。 由于实现完整的解析逻辑较为复杂,如果只是需要功能,可以考虑使用现有的开源项目(如maxwell),它可以将binlog转换为JSON,然后我们可以进一步处理成SQL。但如果必须用Java程序直接生成SQL,则需要按照上述步骤实现。 相关问题: 1. 如何配置MySQL 8.0的binlog为ROW格式? 2. 在Java中解析binlog事件时,如何处理表结构变化? 3. 除了mysql-binlog-connector-java,还有哪些Java库可以解析MySQL binlog? 4. 如何确保binlog监听程序的高可用性? &lt;/think&gt; ### Java 监控 MySQL 8.0 binlog 并生成可执行 SQL 的实现方法 #### 核心原理 MySQL 的 binlog 以二进制格式记录所有数据库变更操作(DDL 和 DML)。Java 程序通过 **MySQL Binlog 监听协议**(基于 MySQL 主从复制协议)实时获取 binlog 事件[^2][^5],解析二进制数据后还原为可执行 SQL 语句。关键点如下: 1. **binlog 格式要求**:必须配置为 `ROW` 格式(记录行级变更),否则无法生成完整 SQL[^4][^5] ```ini # my.cnf 配置示例 binlog_format=ROW server_id=1 log_bin=mysql-bin ``` 2. **权限要求**:Java 程序需具备 `REPLICATION SLAVE` 和 `REPLICATION CLIENT` 权限 ```sql GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO &#39;java_user&#39;@&#39;%&#39;; ``` #### 实现步骤(使用开源库) ##### 1. 添加 Maven 依赖 推荐使用 **debezium**(生产级 CDC 工具): ```xml &lt;dependency&gt; &lt;groupId&gt;io.debezium&lt;/groupId&gt; &lt;artifactId&gt;debezium-api&lt;/artifactId&gt; &lt;version&gt;2.3.0.Final&lt;/version&gt; &lt;/dependency&gt; &lt;dependency&gt; &lt;groupId&gt;io.debezium&lt;/groupId&gt; &lt;artifactId&gt;debezium-embedded&lt;/artifactId&gt; &lt;version&gt;2.3.0.Final&lt;/version&gt; &lt;/dependency&gt; &lt;dependency&gt; &lt;groupId&gt;io.debezium&lt;/groupId&gt; &lt;artifactId&gt;debezium-connector-mysql&lt;/artifactId&gt; &lt;version&gt;2.3.0.Final&lt;/version&gt; &lt;/dependency&gt; ``` ##### 2. Java 核心代码实现 ```java import io.debezium.engine.ChangeEvent; import io.debezium.engine.DebeziumEngine; import io.debezium.engine.format.Json; public class BinlogMonitor { public static void main(String[] args) { // 配置 Debezium 连接器 Properties config = new Properties(); config.put(&quot;name&quot;, &quot;mysql-binlog-monitor&quot;); config.put(&quot;connector.class&quot;, &quot;io.debezium.connector.mysql.MySqlConnector&quot;); config.put(&quot;database.hostname&quot;, &quot;localhost&quot;); config.put(&quot;database.port&quot;, &quot;3306&quot;); config.put(&quot;database.user&quot;, &quot;java_user&quot;); config.put(&quot;database.password&quot;, &quot;password&quot;); config.put(&quot;database.server.id&quot;, &quot;184054&quot;); config.put(&quot;database.server.name&quot;, &quot;mysql-server&quot;); config.put(&quot;database.include.list&quot;, &quot;your_database&quot;); config.put(&quot;table.include.list&quot;, &quot;your_table&quot;); config.put(&quot;database.history.skip.unparseable.ddl&quot;, &quot;true&quot;); config.put(&quot;snapshot.mode&quot;, &quot;never&quot;); // 只监听实时变更 // 创建引擎并监听事件 try (DebeziumEngine&lt;ChangeEvent&lt;String, String&gt;&gt; engine = DebeziumEngine.create(Json.class) .using(config) .notifying(record -&gt; { // 解析变更事件为 JSON String value = record.value(); if (value != null) { // 提取 SQL 语句(实际需解析 JSON 获取 before/after 数据) String sql = generateSQLFromJson(value); System.out.println(&quot;[EXEC SQL] &quot; + sql); } }).build()) { engine.run(); // 启动监听线程 } } // 解析 JSON 生成可执行 SQL(简化示例) private static String generateSQLFromJson(String json) { // 实际解析需处理以下结构: // { // &quot;op&quot;: &quot;c&quot; (create)/&quot;u&quot; (update)/&quot;d&quot; (delete), // &quot;before&quot;: {...}, // 旧数据(更新/删除) // &quot;after&quot;: {...} // 新数据(插入/更新) // &quot;source&quot;: { &quot;table&quot;: &quot;table_name&quot; } // } return &quot;Generated SQL Here&quot;; // 返回 INSERT/UPDATE/DELETE } } ``` #### 关键解析逻辑 需实现 `generateSQLFromJson` 方法将 JSON 转换为 SQL: - **INSERT 操作**:根据 `after` 字段生成 `INSERT INTO table (...) VALUES (...)` - **UPDATE 操作**:根据 `before` 和 `after` 生成 `UPDATE table SET ... WHERE id=?` - **DELETE 操作**:根据 `before` 字段生成 `DELETE FROM table WHERE id=?` &gt; **注意**:需特殊处理二进制数据类型(如 BLOB)和字符集转换[^3] #### 备选方案(直接使用 binlog 解析) 若需更底层控制,可改用 **mysql-binlog-connector-java**: ```java BinaryLogClient client = new BinaryLogClient(&quot;host&quot;, 3306, &quot;user&quot;, &quot;pass&quot;); client.registerEventListener(event -&gt; { EventData data = event.getData(); if (data instanceof WriteRowsEventData) { // 处理 INSERT } else if (data instanceof UpdateRowsEventData) { // 处理 UPDATE } // 其他事件类型... }); client.connect(); ``` #### 验证与调试 1. 检查 MySQL binlog 状态: ```sql SHOW VARIABLES LIKE &#39;log_bin&#39;; -- 返回 ON SHOW VARIABLES LIKE &#39;binlog_format&#39;; -- 返回 ROW ``` 2. 测试数据变更后观察 Java 控制台输出 3. 使用 **mysqlbinlog** 工具验证原始 binlog: ```bash mysqlbinlog --base64-output=decode-rows -vv mysql-bin.000001 ``` #### 注意事项 1. **MySQL 8.0 认证**:确保使用 `mysql_native_password` 插件或正确配置 caching_sha2_password[^5] 2. **断点续传**:通过 `gtid_source` 或 `binlog_filename/binlog_position` 记录同步位置 3. **性能优化**:批量处理事件避免频繁 IO --- ### 相关问题 1. **MySQL 8.0 中 binlog 的 ROW 模式和 STATEMENT 模式有何本质区别?** 2. **如何处理 Debezium 解析过程中的 DDL 语句变更?** 3. **在 binlog 监听场景下,Java 程序如何实现高可用部署?** 4. **当数据库表结构变更时,如何避免 binlog 解析程序崩溃?** 5. **除 Debezium 外,还有哪些成熟的 Java 库支持 binlog 解析?** [^1]: MySQL binlog 基础概念 [^2]: binlog 记录内容与主从复制原理 [^3]: binlog 解析工具实现思路 [^4]: binlog 格式选择原则 [^5]: MySQL 8.0 binlog 配置与恢复
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值