DataX二次开发——（2）解决MySQL8不兼容问题

原创 已于 2023-04-20 14:15:17 修改 · 2.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #maven #datax

于 2022-07-28 16:29:15 首次发布
本文档指导了如何将Maven项目的MySQL依赖升级到8.0.25版本，同时将旧版驱动`com.mysql.jdbc.Driver`替换为`com.mysql.cj.jdbc.Driver`。此外，还将`convertToNull`替换为`CONVERT_TO_NULL`。完成代码修改后，使用`mvn clean package assembly:assembly -Dmaven.test.skip=true`命令进行重新编译打包，并详细说明了如何替换writer和reader的jar包进行部署。

1、修改Maven的Pom文件的MySQL版本为8.0.25 

2、全文替换“com.mysql.jdbc.Driver”为“com.mysql.cj.jdbc.Driver”

3、 全文替换“convertToNull”为“CONVERT_TO_NULL” 

4、重新编译打包

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

5、打包部署

替换文件

writer:

/datax/plugin/writer/mysqlwriter/mysqlwriter-0.0.1-SNAPSHOT.jar 

/datax/plugin/writer/mysqlwriter/lib/mysql-connector-java-8.0.25.jar

(同理，替换reader和writer是一样)

DataX 源码改造支持Mysql 8.X
03-26 5万+
这个错误在GitHub 上有人提到了，如果你的maven版本太低可以尝试升级，但是maven 3.9.X 也不行，太新了，因为与之匹配的。这里我们只是针对mysql 的读写操作进行了改动，所以打包的时候我们可以将那些其他没有改动的模块注释掉，不需要打包，这里报了一个错误。和我们在idea 打包后的进行对比，发现我们可以直接将这个文件夹下的全部文件进行替换，可以打包。这里我们克隆源代码，在IDEA 中打开，修改mysql 的依赖的版本，如下图所示。所这里我是限制了插件的版本，这下就可以打包成功了。
Docker学习总结（30）——MySQL到底能不能放到Docker里跑？
热门推荐
科技D人生
01-05 1万+
Talk is cheap，show me the demo。MySQL 到底能不能放到 Docker 里跑？同程旅游目前已经有超过一千个 MySQL 实例安全稳定地跑在 Docker 平台上。前 * 言前几月经常看到有 MySQL 到底能不能放到 Docker 里跑的各种讨论。这样做是错的！这样做是对的！说错的理由也说了一大堆，说对的思想也很明确。大家都有道理。但是我本人觉得这样的讨论落地意义不
DataX 重编译支持MySQL 8.0 附带编译包下载
李子兮的博客
04-19 2354
一、前言 DataX 是阿里云开源的数据同步工具，打算在公司内部引入时发现，DataX目前版本并不支持MySQL8.0以上的版本，只能自己动手重新编译。 源码地址：DataX 二、
初次使用datax,发现datax不支持mysql8.x
hello world
09-18 5604
一:下载安装 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz tar -zxvf datax.tar.gz -C /usr/local/ 二: 官方文档https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md 三:简单案例 (1)str...
修改DataX支持MySQL 8.0的适配方法
北漂牛马一枚
07-31 4043
DataX 是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。本文介绍了如何修改DataX使其支持MySQL 8.0
datax mysql8不支持
qq_33203749的博客
12-15 1341
docker-compose 一开始安装MySQL的版本是8.0，用datax做离线数据同步发现不支持，要退回5.7 MySQL降到5.7 1、先备份数据库数据 2、docker-compose down 3、docker volume prune 4、设置MySQL的镜像版本到5.7，执行 docker-compose up -d ...
DataX支持MySQL-8读写
docsz的博客
04-08 2872
datax
Datax插件二次开发之HdfsWriter支持parquet
qq_34599449的博客
01-28 3132
Datax插件二次开发之HdfsWriter支持parquet Date: December 24, 2021 1. 背景 目前，公司的OLAP和AD-HOC组件主要使用impala，而当前我们的impala版本支持parquet\textfile格式，却不支持ORC格式，因此会有同步数据时，进行parquet格式写入的需求。 在网上查了下资料，只找到一个支持parquet的hdfswriter插件，但是有网友乐（tian）于（bu）分（zhi）享（chi）的贴了一个版本，没有源码不说，下载下来还各种坑（只
oracle异构迁移mysql方案实施（含原理）——已迁移成功
ITSM/ITIL/网络安全/IT运维
02-25 4483
从迁移方案的落地、迁移前准备、N次迁移演练、回归测试、性能调优整整用了四个月左右的时间（当然在此期间还包括其他项目及日常操作耗费工时）。正式迁移到迁移成功、以及上线开服后性能稳定这些操作已经过去了一个多月时间。由于异构迁移在业界是一个较为困难繁琐的问题，所以经过这么久的沉淀，今天给大家复盘并分享一下整个迁移流程，从前期方案、到最后迁移成功的整个流程，希望给对 ORACLE TO MYSQL 异构迁移流程不清晰的同学，一点思路！ 目录 一、迁移原由 二、迁移目标 三、迁移方案落...
DataX启动与脚本执行报错：
Y_Aryan的博客
01-31 616
python datax.py /opt/module/datax/job/job.json 看是否可以运行。替换成适合 python3语法规则的同名文件（具体的替换文件可去网上寻找，很多博主都发了）（2）替换完成之后，需要将新放入的三个文件修改权限，都修改为 755 权限。Datax支持 python2.x (通过python命令 运行)如果想要使用python3， 则。（3）重新试一下，用。
datax读写MySQL8的插件
04-19
datax读写MySQL8的插件，修改源码重新编译而来
DataX源码编译支持mysql8.0，支持Clickhouse的读写
10-13
Datax的源码编译，编译以后支持访问mysql8.0数据库，以及支持连接Clickhouse，从clickhouse读取数据，以及写入数据到clickhouse，当前编译版本已经在正式集群上采用，没有任何问题
DataX不支持Mysql8.x
诚的博客
11-27 2376
1.报错信息为 2.解决方案:将DataX使用的mysql驱动包替换为对应的Mysql8.x版本 mysql驱动包路径: ${HOME目录}/datax/plugin/reader/mysqlreader/libs 从网上下载mysql8.x , 例如 mysql8.0.18的下载地址是：https://cdn.mysql.com//Downloads/Connector-J/mysq...
Datax读取Mysql8报错
jhfcgy的博客
04-27 740
ERROR RetryUtil - Exception when calling callable, 异常Msg:DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。 java.lang.Exception: DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的usern
【datax3.0同步mysql8】
m0_49889089的博客
05-15 981
DataX 是阿里云开源的数据同步工具，在使用的时候发现，DataX并不支持MySQL8.0以上的版本。
datax支持mysql版本_解决DataX支持Mysql 8的读写
weixin_42465238的博客
01-18 1082
前言：如果是第一次安装使用datax，或您服务器Mysql版本是 <= 5.7的，请先参考我之前的随笔：https://www.cnblogs.com/zifan/p/9194793.html。背景：Mysql从5.6升级到8.0.19之后，发现原先正常跑的datax出错了。先来看下我的报错信息：(看不清请放大网页)1 2020-03-18 10:00:10.038 [0-0-0-write...
Datax mysql8插件开发
钢琴线与小刀的博客
09-21 842
其实mysql8和mysql的区别几乎只是改了驱动而已, 过程一模一样的,那么开发步骤也是很简单, 几乎都是复制mysql的插件就可以了(如果业务不是像我一样又要mysql5.7又要mysql8的话直接改插件就可以了,不需要新建插件) 这篇文章只用mysql8reader举例, mysql8的writer大家可以自己写 1. 新建module ps: 我这里冒红只是因为我已经建立过了 2. mysql8配置文件处理 对于一个插件来说, 需要配置的文件有这么几个: mysql8reader/src/mai
datax集成mysql8、datax支持mysql8
最新发布
weixin_49114503的博客
06-30 1894
datax集成mysql8、datax支持mysql8
【数据中台】DataX源码进行二开插件
掘金者说
08-01 509
使用的离线数据同步工具/平台，实现不同数据库等各种异构数据源之间高效的数据同步功能。拉取下来的代码，pom.xml里面注释。为了不冲突，开启一个独立分支调整。为了反之与原有冲突，把。
datax二次开发怎么解决读取数据乱码问题
08-02
在DataX的二次开发中解决读取数据乱码问题，可以采取以下几个步骤： 1. 确定数据源的编码格式：首先需要确定数据源的编码格式，比如UTF-8、GBK等。可以通过查看数据源的配置文件或者与数据源管理员进行沟通来获取...
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值