利用Spark把数据写进mysql数据库时候遇到的问题

最新推荐文章于 2023-04-25 20:14:54 发布

原创最新推荐文章于 2023-04-25 20:14:54 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

大数据同时被 2 个专栏收录

17 篇文章

订阅专栏

spark

3 篇文章

订阅专栏

在使用Spark将数据写入MySQL时遇到了'IMPOSSIBLE TO WRITE TO BINARY LOG SINCE BINLOG_FORMAT = STATEMENT'的错误。该问题源于MySQL默认的binlog_format设置为STATEMENT。解决方法包括切换到ROW或MIXED模式，以适应不同的隔离级别。一次性更改可通过SQL命令，永久生效则需修改my.ini配置文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写入数据库的方式是：

df2.write.mode(SaveMode.Append).jdbc(url,"student",properties)

impossible to write to binary log since BINLOG_FORMAT = STATEMENT

这是因为，mysql默认的binlog_format是STATEMENT。

从 MySQL 5.1.12 开始，可以用以下三种模式来实现：基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication, RBR)，混合模式复制(mixed-based replication, MBR)。相应地，binlog的格式也有三种：STATEMENT，ROW，MIXED。

如果你采用默认隔离级别REPEATABLE-READ，那么建议binlog_format=ROW。如果你是READ-COMMITTED隔离级别，binlog_format=MIXED和binlog_format=ROW效果是一样的，binlog记录的格式都是ROW，对主从复制来说是很安全的参数。

方法一

mysql> STOP SLAVE;
Query OK, 0 rows affected (0.02 sec)

 mysql>  SET GLOBAL binlog_format=ROW;
Query OK, 0 rows affected (0.00 sec)

 mysql> START SLAVE;
Query OK, 0 rows affected (0.00 sec)

但是这样只是一次性的，重启后失效。

永久生效，需要修改my.ini

# binary logging format - ROW
binlog_format=ROW

修改后，记得右击我的电脑-》管理-》服务和应用程序-》mysql 把服务停掉再重启