DataX踩坑

最新推荐文章于 2025-04-17 14:37:47 发布
原创 最新推荐文章于 2025-04-17 14:37:47 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

踩坑一：

com.alibaba.fastjson.JSONObject cannot be cast to java.util.List

解决方法

将数据库等表信息不是用List格式表示的

Centos7.9下安装DataX3.0/2.0_详细安装过程_以及踩坑._drdsreader/plugin.json]不存在.检查您的配置文---大数据之DataX工作笔记001
添柴程序猿的专栏
06-29 733
您提供的配置文件[/opt/module/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件。这样一执行可以看到再去看比如/opt/module/datax/plugin下面的reader文件夹和writer文件夹中就,都没有._开头的文件了都被删除掉了。首先我们执行 rm -rf /opt/module/datax/plugin/*/._*这个时候,我们去对应的plugin文件夹,把所有的._开头的文件都删除掉就可以了。
踩坑实录-datax数据推送字符集错误
chimchim66的博客
05-07 1444
背景： 使用datax工具将一张表从hive推送数据到mysql 报错： Incorrect string value: '\\xF0\\xA5\\x96\\x84' for column 'user_name' at row 产生原因分析： 普通的字符串或者表情都是占位3个字节，所以utf8足够用了，但是移动端的表情符号占位是4个字节，普通的utf8就不够用了，为了应对无线互联网的机遇和挑战、避免 emoji 表情符号带来的问题、涉及无线相关的 MySQL 数据库建议都提前采用 utf8mb4 字符集，
【Java】“com.alibaba.fastjson.JSONObject cannot be cast to“报错问题
热门推荐
微信公众号: 后端码匠
02-24 1万+
通过 debug 断点可以看到，这里拿到虽然是 List，但是里面的对象还是一个 JSONObject，并不是我们需要的 DTO 类，所有导致了后面的报错。查到问题根源，只要把这里的对象转化为我们的 DTO 类就行了，就可以避免报错。
Datax增量导入和几种常见的数据迁移模板
qq_39431417的博客
12-16 2614
列出几种常用的Datax的模板，读写的库可以随意互换 1、读PG库写入MySQL { "job": { "content": [ { "reader": { "name": "postgresqlreader", "parameter": { "username": "postgres", "password": "123456",
datax工具介绍及简单使用
qq_49001678的博客
09-09 1410
Datax是一个异构数据源离线同步工具，致力于实现包括关系数据库、HDFS、Hive、ODPS、Hbase等各种异构数据源之间稳定高效的数据同步功能为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步；DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已 持续稳定运行了7年之久。
DataX实践趟坑大全
不羁的风
07-10 2827
项目存在多源异构的问题，所以选取DataX做数据同步。实践过程中，发现了很多DataX的天坑。将问题和解决方法记录如下。 一.不支持mysql 8.0问题 1.现象 RetryUtil - Exception when calling callable, 即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1000]ms, 异常Msg:[Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或.
DATAX 的踩坑小记
YINGWENNICHENG的博客
03-31 1122
sqlserver导入hdfsjson格式… 要求太细了… 老是跑失败，仔仔细细改了好久终于跑起来了… { “job”: { “content”: [ { “reader”: { “name”: “sqlserverreader”, “parameter”: { “column”: [ “MC_Id”, “MC_M_Id”, “MC_Ca_Id”, “SyncDataSource”, “MC_Sort” ], “connection”: [ { “jdbcUrl”: [ “jdbc:sqlserver:/
DATAX踩坑路
gelonSun的博客
07-23 1889
DATAX踩坑路 背景datax hdfs 支持parquetdatax hbase11x 修改支持kerberosdatax 与 hologres 结合datax配置hadoop HAdatax的限速 背景 需要离线异构数据库的同步工具，并且希望依赖尽量少的外部环境，最好能与阿里云产品相结合，经过调研发现datax比较满足需求所以决定使用datax datax hdfs 支持parquet datax hdfs读取和写出支持 textfile、csv、orc 而在我们的业务场景中经常使用parquet
使用datax通过HbaseShell封装writer和reader同步hbase数据到hbase_踩坑_细节总结---大数据之DataX工作笔记008
添柴程序猿的专栏
04-17 1492
可以看到,phoenix添加的表,对应的rowkey就是主键的值,然后所有的列都放到了0这个列族中,然后_0这个0列族中的列,就是主键,值value。对应的,原来表中的rowkey是无法同步过来的,这个是datax提供的hbase的,不带sql的,也就是使用原生java的hbase客户端。可以看到最后面,core部分,要自己补充上,要不然报错,然后,一定要注意,datax-web,生成的json,index都是从1开始的,
DataX｜同步数据到 OTS 的踩坑记录
长行
08-13 601
otswriter 中的 primaryKey 属性是必须的，且其中的字段数量、顺序必须与 OTS 表的主键顺序一致。｜主键只需要在 primaryKey 属性中配置一次，不需要在 column 属性中再配置依次。｜reader 中上游表的字段顺序与 otswriter 中下游表的字段顺序一致。，不支持大写，这与 DataX 仓库中文档的样例一致，但和注释不一致。｜primaryKey 属性和 colum 属性中的。｜如果只更新部分字段的话，务必是否。例如，当上游表中依次为。
java调用shell向DataX传递参数，where条件，包含特殊字符
04-10
java调用shell向DataX传递参数，where条件，包含特殊字符。java调用shell向DataX传递参数，where条件，包含特殊字符
java调用shell向DataX传参，带where条件，特殊字符
08-16
java调用shell命令，在shell命令中调用DataX任务并传递参数。 坑主要在DataX传递参数涉及到特殊字符应该如何处理这块，有时间可以自己试； 没时间可以用我的经验，自己选择；
使用dataX遇到的坑
yandao的博客
10-28 7438
首先是安装dataX，安装非常简单，只需下载对应的压缩包即可。 下载地址：https://github.com/alibaba/DataX 第一个错误：命令提示符界面出现出现乱码。 解决方法： 可以在cmd中输入： CHCP 65001 （切换为UTP8编码-65001 (UTF-8)），然后进行后续操作。 第二个错误：print的问题 File "datax.py", line 114 print readerRef ^ SyntaxError: Missing paren
来自于alibaba的Datax使用
鲜花怒马少年时，一日看尽长安花
11-26 2864
来自于alibaba的Datax使用 一. 介绍 DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 二. 特征 DataX本身作为数据同步框架，将不同数据源的同步抽象
dataX数据同步
yabin1016的博客
05-24 565
dataX linux环境部署： 1 参考文章： https://blog.youkuaiyun.com/Titanium_LL/article/details/100859499 2 环境参数：centos7 3 crontab定时任务参考https://www.pianshen.com/article/8309173488/ crontab不执行报错解决： 解决 sh: java: command not found 问题 在执行脚本上加入如下配置即可 #!/bin/bash JAV...
DataX使用示例
liang_336的博客
04-16 3868
DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。 关于原理及优缺点，知乎上有博主描述：https://zhuanlan.zhihu.com/p/81817787 笔者比较赞同 阿里相关文档地址：https://github.com/alibaba/DataX ...
使用 DataX 实现 MySQL 数据的高效同步
程序猿DD
07-14 3276
本周赠书《性能之巅》第2版我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储...
DataX使用总结
weixin_42050545的博客
06-27 9817
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github，地址：https://github.com/alibaba/DataX。 DataX安装部署 ...
mac上安装webpack报错解决方法Hit error EACCES: permission denied, mkdir '/usr/local/lib/node_modules/webpack
Kverson
03-02 3943
mac上安装webpack报错解决方法Hit error EACCES: permission denied, mkdir '/usr/local/lib/node_modules/webpack 解决方法： sudo npm install webpack -g --unsafe-perm=true --allow-root sudo npm install webpack -g --unsa...
datax安装部署
最新发布
06-11
<think>嗯，用户这次明确询问DataX的安装部署方法，看来是个急需落地的技术需求。之前系统要求生成相关问题时我提过环境准备和配置验证，正好这次可以展开成完整指南。用户可能是运维或数仓工程师，语气直接且带着"指南"这样的关键词，说明需要标准化流程。DataX作为阿里开源的离线数据同步工具，安装其实很轻量，但部署细节容易踩坑。记得上次在回答里提过JDK和Python版本要求，这次得放在前置条件强调，特别是企业环境常有jdk1.7的历史遗留问题。用户没提具体操作系统，但CentOS最常见，所以脚本示例都用yum；如果ta用Ubuntu还得补充apt-get方案。安装包获取要给出官方GitHub和镜像站双路径，国内用户很可能访问不了GitHub。解压后目录结构需要解释清楚，尤其注意plugin目录的插件机制——很多人第一次用会困惑为什么mysql同步失败，其实是缺对应读写插件。验证环节特别重要，我决定用stream2stream和mysql2mysql两个例子。前者纯粹测试核心组件，后者覆盖真实场景，但mysql连接部分得提醒用户替换实际参数。看到有些教程漏了charset配置导致中文乱码，这个坑必须写在备注里。用户上次没问但应该需要的后续要点，写成相关问题最合适：性能优化涉及JVM调优和错误处理，这在全量同步TB级数据时是刚需；Web平台则是团队协作痛点。最后补上官方文档链接，毕竟版本更新可能带来变化。对了，所有代码框和路径名要用反引号标注，系统要求的技术文档规范得遵守。Python那句import测试很多人会忽略，但这是检测py环境正确性的关键步骤，得加粗强调。</think> 以下是DataX的完整安装部署指南，基于官方文档整理并验证最佳实践： ### 前置条件 1. **环境要求** - JDK 1.8+（需配置`JAVA_HOME`环境变量） ```bash java -version # 验证版本 echo $JAVA_HOME # 验证路径 ``` - Python 2.7（仅用于配置解析，3.x版本不兼容） 2. **安装包获取** 官方下载地址（推荐镜像加速）： ```bash wget https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz ``` ### 安装步骤 1. **解压安装包** ```bash tar -zxvf datax.tar.gz -C /opt/ # 解压到指定目录 ``` 2. **目录结构说明** ``` /opt/datax ├── bin # 启动脚本 ├── conf # 全局配置 ├── lib # 核心依赖库 ├── plugin # 读写插件（按需扩展） └── job # 任务配置模板 ``` ### 部署验证 1. **运行测试任务** ```bash cd /opt/datax/bin python datax.py ../job/job.json # 执行示例任务 ``` 2. **验证标准输出** 成功日志会显示： ``` [任务结束状态]：成功 [平均流量]：xxx KB/s ``` ### 快速通道示例 1. **Stream -> Stream测试** ```json { "job": { "content": [{ "reader": {"name": "streamreader"}, "writer": {"name": "streamwriter"} }] } } ``` 2. **MySQL同步示例** ```json "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "***", "column": ["id","name"], "connection": [{ "jdbcUrl": ["jdbc:mysql://db_host:3306/test?useSSL=false"], "querySql": ["SELECT * FROM test_table"] }] } } ``` > **重要提示** > - 插件依赖：若使用MySQL/Oracle等插件，需将对应驱动JAR包放入`plugin/reader|writer`目录[^2] > - 内存调整：大任务需修改`bin/datax.py`中的`-Xms -Xmx`参数 > - 编码问题：中文环境建议在job.json中添加`"-Dfile.encoding=UTF-8"` --- ### ‼️ 常见问题排查 | 问题现象 | 解决方案 | |------------------------|----------------------------| | Python版本报错 | 安装`python2`并创建软链接 | | 插件ClassNotFound | 检查驱动JAR包完整性 | | 数据库连接超时 | 配置`connectionTimeout`参数 | | 空表任务失败 | 配置`skipEmpty`参数为true | [^1]: DataX官方GitHub文档：https://github.com/alibaba/datax [^2]: 插件依赖规范详见`plugin`目录README.md文件
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值