[ETL工具]dataX使用

最新推荐文章于 2025-06-22 20:50:48 发布

copywang_1992

最新推荐文章于 2025-06-22 20:50:48 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： ETL 文章标签： DataX

本文链接：https://blog.youkuaiyun.com/wangjx92/article/details/83278527

本文介绍了DataX作为ETL工具的使用，包括如何安装DataX，建议从源码开始并注释不必要的模块。此外，分享了一个从MySQL到ES的数据迁移示例，指出在配置中用户名和密码字段不能留空，并分享了测试100万条数据迁移仅用51秒的高效性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官网

https://github.com/alibaba/DataX

安装方式：

建议下载源码，注释掉不需要的reader和writer

参考：

https://github.com/alibaba/DataX/blob/master/userGuid.md

示例

从mysql读取到es

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                 &