当前环境:
dinky-rc4
flink-1.17.2(单节点)
mysql-connector-java-5.1.49.tar.gz
flink-doris-connector-1.17-1.5.1.jar
flink-sql-connector-mysql-cdc-3.0.0.jar(之前是2.3不成功,替换成最新的3.0,不方便科学上网的,我已优快云上传资源,可根据对应版本自行下载)
doris-1.2.7
问题1、
现象:同步任务报doris sink相关参数不支持,修改整库同步SQL后没有仍然报之前的错误,感觉跟没有修改成功一样。
解决方法:找到对应的catalog表,删除catalog,重启启动同步任务。0.7.5版本存在这个问题,rc4也存在(不清楚是不是我姿势不对导致)
问题2、
现象:同步任务报java.lang.NoClassDefFoundError:org/apache/hadoop/hdfs/HdfsConfiguration。
解决方法:如果不是Hadoop环境,此报错信息可以忽略,不影响整体任务。
问题3、
现象:doris-connector报Unsupported options:
解决方法:报什么就先注释掉,再看报错信息中提示内容,如果正常通过,可以在doris官网看connector具体版本对应的参数
问题4、
现象:同步任务同步到一半失败了,doris目标端已写入部分数据
解决方法:这个就要考虑字段类型映射问题报错导致,可以通过参数设置自动类型转换,具体查看官网相对参数。
问题5、
现象:报java.lang.NoClassDefFoundError
解决方法:此报错大部分情况下都是缺包,注意Dinky胖包的引用,是否放置在对应的目录下。
写在最后:
整个调试过程都要紧盯报错日志(有什么报错就解决什么问题),有时候flink没有报错,Dinky有报错,有时Dinky没报错,flink有报错。下面说三个看日志的地方:Dinky-配置中心-系统日志,flink Task-Managers logs\flink Job-Manager
Dinky整库同步mysql到doris问题汇总
最新推荐文章于 2025-04-03 09:42:57 发布