尚硅谷大数据项目【电商数仓6.0】-Datax-6

最新推荐文章于 2025-11-23 21:51:25 发布
原创 最新推荐文章于 2025-11-23 21:51:25 发布 · 272 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

安装

tar -zxvf datax.tar.gz -C /opt/module/

测试

python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json

MySQLToHDFS

根据官方文档写配置json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2",
							"create_time",
							"operate_time"
                        ],
                        "where": "id>=3",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&allowPublicKeyRetrieval=true&characterEncoding=utf-8"
                                ],
                                "table": [
                                    "base_province"
                                ]
                            }
                        ],
                        "password": "000000",
                        "splitPk": "",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            },
                            {
                                "name": "create_time",
                                "type": "string"
                            },
                            {
                                "name": "operate_time",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

确保路径存在

hadoop fs -mkdir /base_province

cd /opt/module/datax
python bin/datax.py job/base_province.json 

hadoop fs -mkdir /base_province

使用SQL

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&allowPublicKeyRetrieval=true&characterEncoding=utf-8"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2,create_time,operate_time from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "000000",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            },
                            {
                                "name": "create_time",
                                "type": "string"
                            },
                            {
                                "name": "operate_time",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

传时间参数

python bin/datax.py -p"-Ddt=2022-06-08" job/base_province.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&allowPublicKeyRetrieval=true&characterEncoding=utf-8"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2,create_time,operate_time from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "000000",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            },
                            {
                                "name": "create_time",
                                "type": "string"
                            },
                            {
                                "name": "operate_time",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province/${dt}",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

HDFSToMySQL

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "defaultFS": "hdfs://hadoop102:8020",
                        "path": "/base_province",
                        "column": [
                            "*"
                        ],
                        "fileType": "text",
                        "compress": "gzip",
                        "encoding": "UTF-8",
                        "nullFormat": "\\N",
                        "fieldDelimiter": "\t"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "000000",
                        "connection": [
                            {
                                "table": [
                                    "test_province"
                                ],
                                "jdbcUrl": "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&allowPublicKeyRetrieval=true&characterEncoding=utf-8"
                            }
                        ],
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2",
                            "create_time",
                            "operate_time"
                        ],
                        "writeMode": "replace"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

在MySQL中创建gmall.test_province表

DROP TABLE
IF
	EXISTS `test_province`;
CREATE TABLE `test_province` (
	`id` BIGINT ( 20 ) NOT NULL,
	`name` VARCHAR ( 20 ) CHARACTER 
	SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
	`region_id` VARCHAR ( 20 ) CHARACTER 
	SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
	`area_code` VARCHAR ( 20 ) CHARACTER 
	SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
	`iso_code` VARCHAR ( 20 ) CHARACTER 
	SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
	`iso_3166_2` VARCHAR ( 20 ) CHARACTER 
	SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
	`create_time` VARCHAR ( 20 ) CHARACTER 
	SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
	`operate_time` VARCHAR ( 20 ) CHARACTER 
	SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
	PRIMARY KEY ( `id` ) 
) ENGINE = INNODB CHARACTER 
SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

python bin/datax.py job/test_province.json

DataX配置生成器

类似代码生成器，生成DataX对应的JSON

尚硅谷大数据技术之 DataX—1）概述
weixin_61594803的博客
02-04 1889
1.1 什么是DataX DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 1.2 DataX的设计 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 1.3 支持的数据源
dataX 阿里云开源离线同步工具
C_CXY2333的博客
09-21 610
dataX 阿里云开源离线同步工具 1、Datax 概要 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能 1.1设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源...
尚硅谷大数据技术之 DataX—2）快速入门
weixin_61594803的博客
02-04 1664
2.1 官方地址 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 直接解压，执行命令即可，不需要编译。 源码地址：https://github.com/alibaba/DataX 2.2 前置要求 Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) 2.3 安装 1 ）将下载好的datax.tar.gz上传到hadoop 102 的/opt/software 2 ）解压da
尚硅谷大数据技术之 DataX—4）DataX使用优化
weixin_61594803的博客
02-04 3716
4.1 关键参数 ➢ job.setting.speed.channel : channel并发数 ➢ job.setting.speed.record : 全局配置channel的record限速 ➢ job.setting.speed.byte：全局配置channel的byte限速 ➢ core.transport.channel.speed.record：单个channel的record限速 ➢ core.transport.channel.speed.byte：单个channel的byte限速 4
数仓项目6.0（一）
qq_58551342的博客
02-27 2591
数据同步工具种类繁多，大致可分为两类，一类是以DataX、Sqoop为代表的基于Select查询的离线、批量同步工具，另一类是以Maxwell、Canal为代表的基于数据库数据变更日志（例如MySQL的binlog，其会实时记录所有的insert、update以及delete操作）的实时流式同步工具。DataX的使用，用户只需根据数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
【万字长文】电商离线数仓6.0学习笔记1：环境配置前（P1-P16）
weixin_73297164的博客
02-23 818
电商数仓6.0项目环境配置前部分的笔记整理。
数仓项目6.0（二）数仓
qq_58551342的博客
02-27 1406
中间的几步意义就在于，缓存中间处理数据样式，避免重复计算浪费算力。
尚硅谷大数据项目电商数仓6.0学习记录----数据仓库（上）
weixin_64286561的博客
02-14 2325
学习视频路径： 尚硅谷大数据项目【电商数仓6.0】企业数据仓库项目大数据实战_哔哩哔哩_bilibili上传hive到linux的/opt/software解压hive 重命名hive 添加环境变量 更新环境变量 进入/opt/module/hive/lib，解决日志Jar包冲突 Hive元数据配置到MySQL 将MySQL的JDBC驱动拷贝到Hive的lib目录下 新建hive-site.xml文件 启动hive 登录MySQL 新建hive元数据
尚硅谷广告数仓项目教程发布
zjjcchina的博客
04-25 817
项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、ClickHouse、DolphinScheduler、Flume、Datax、FineBI等。项目共分六大部分：广告业务详情介绍、数仓建模原理介绍、数仓集群部署和环境搭建、数仓数据分析及ETL完整流程、DolphinScheduler全流程调度、FineBI可视化大屏展示，是一套完整的数仓项目，学习者部署本地虚拟机即可实现全部项目流程。67.数据导出_使用SparkSQL读取Hive数据导出到ClickHouse。
Azkaban和datax安装文档.docx
07-09
Azkaban和datax安装文档
kettle数据抽取全量对比
10-26
kettle数据清洗抽取，全量对比记录，包含列转行，增加序列，字段拆分，对比记录
阿里开源数据同步工具--DataX
yangbosos的博客
04-11 6378
下载 地址：QuickStart DataX是异构数据源离线同步工具。能够将MySQL sqlServer Oracle Hive HBase FTP 之间进行稳定高效的数据同步。 设计思路： 网状连接-》 星型连接 目前支持哪些数据同步？： 核心架构： 推荐使用python 2.6 7 不要使用python 3,0 使用方法和案例： 1. 准备一个job....
大数据-Azkaban
Destiny的博客
05-04 347
Azkaban 简介 Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业。Azkaban通过作业依赖性解决订单，并提供易于使用的Web用户界面来维护和跟踪您的工作流程 特点 兼容任何版本的Hadoop 易于使用的Web UI 简单的Web和http工作流上传 调度工作流程 模块化和可插入 身份验证和授权 跟踪用户操作 有关失败和成功的电子...
业务数据平台发展历程（两年经历分享）
iamzhongyong的专栏
11-14 461
        这篇文章来自一个公司内部的分享，是自己所服务的业务中数据平台的发展历程，已经讲了有几个月了，最近打算挑几个点拿出来用文章的形式写出来。是自己进入公司以来参与过或者接触过的数据型项目的情况。基本包含了业务数据分析的整个流程。这篇文章纯文字描述，没有任何图呵呵。所以看我需要耐心。           1、最早的数据分析可能就报表         目前很多数据分析后的结果，展示的...
写给大数据开发初学者的话
热门推荐
02-20 3万+
转自http://lxw1234.com/archives/2016/11/779.htm 导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章
Spark SQL 简介
最新发布
好记性不如烂笔头
11-23 526
Spark SQL 是 Spark 用于结构化数据处理的模块，对于开发人员来讲，Spark SQL 可以简化 RDD 的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是 Spark SQL。Spark SQL 为了简化 RDD 的开发，提高开发效率，提供了两个编程抽象，类似 Spark Core 中的 RDD。即 DataFrame 和 DataSet。
RocketMQ 为什么性能不如 Kafka？
2301_81205080的博客
11-23 619
本文介绍了kafka性能好的原因
Apache Kafka高吞吐消息系统实践分享：实时数据流处理与消息可靠性优化经验
2501_94114477的博客
11-23 365
合理主题与分区设计保证吞吐量和顺序性生产者批量与压缩优化提升发送效率消费者多线程与手动提交偏移保证可靠消费副本与幂等策略确保消息不丢失实时监控与告警提升系统稳定性Kafka 通过高吞吐量、低延迟和可扩展性，为企业实时数据流和消息系统提供可靠解决方案，是金融、电商和 IoT 系统不可或缺的核心组件。
淘宝详情数据 API 返回字段全解析：核心字段说明 + 开发避坑指南
Ob_API20230201的博客
11-23 637
淘宝详情数据 API 的返回字段设计贴合电商业务场景，核心在于理解字段关联关系（如sku_id与spec_json）和权限限制。开发时需重点关注价格库存的准确性、图文内容的解析效率，以及异常场景的兼容处理。如果遇到特殊字段解析问题（如海外商品、预售商品专属字段），欢迎在评论区留言交流！
尚硅谷电商数仓6.0用户数据采集部分
07-01
在尚硅谷电商数仓6.0项目中，用户数据采集的实现方法主要涉及日志数据和业务数据库数据的采集流程。以下是具体的实现步骤和技术要点： ### 数据采集概述 数据采集是构建数据仓库的第一步，其核心目标是从各种数据源（如日志文件、数据库等）提取数据，并将其传输到HDFS或Hive等存储系统中，以便后续进行数据清洗和分析。尚硅谷电商数仓6.0项目采用了Flume、Kafka等工具完成数据的实时和离线采集。 ### 日志数据采集 对于日志数据的采集，项目使用了**Flume**作为主要的数据采集工具。Flume是一种分布式的、可靠的日志采集框架，能够从多个数据源收集日志并传输到HDFS中。具体实现如下： - **Flume Agent配置**：Flume Agent负责监听日志文件目录，并将新增的日志文件传输到指定的目标位置。例如，在`kafka_to_hdfs_db.conf`中，配置了Flume Source监听本地日志目录，Sink指向HDFS，而Channel则作为缓冲区。 - **拦截器（Interceptor）**：为了增强数据的处理能力，Flume中引入了拦截器。例如，通过自定义的`TimestampAndTableNameInterceptor`，可以动态地为每条日志添加时间戳字段，并根据日志内容决定其归属的表名[^2]。 - **日志文件装载**：日志文件被Flume采集后，会以文本格式存储在HDFS中。随后，使用Hive的`LOAD DATA INPATH`命令将原始日志数据加载到Hive表中。例如： ```sql LOAD DATA INPATH '/origin_data/gmall/log/topic_log/2022-06-08' INTO TABLE ods_log_inc PARTITION(dt='2022-06-08'); ``` 这一步骤将日志文件直接移动到Hive表对应的HDFS路径下，并按日期分区存储[^1]。 ### 业务数据库数据采集 除了日志数据，还需要从MySQL等关系型数据库中采集业务数据。这一部分通常采用**Canal**或**DataX**等工具实现： - **Canal**：Canal是阿里巴巴开源的一个MySQL数据库增量日志解析工具，它能够订阅MySQL的binlog日志，并将数据变更实时同步到Kafka或HBase中。这种方式适用于需要实时更新数据的场景。 - **DataX**：对于离线数据采集需求，可以使用DataX工具进行批量导入导出。DataX支持多种数据源之间的数据迁移，例如从MySQL导入到Hive中。 ### 数据采集脚本与调度 在整个数据采集过程中，自动化脚本和任务调度非常重要： - **Shell脚本**：编写Shell脚本用于启动Flume Agent、监控日志目录变化，并定期执行数据装载操作。 - **定时任务**：使用Linux的`crontab`或Apache Airflow等工具进行任务调度，确保每日的数据采集和装载任务能够按时执行。 ### 学习资源 如果希望深入了解尚硅谷电商数仓6.0项目中的数据采集实现，建议参考以下学习资源： - **视频教程**：尚硅谷官方发布的电商数仓6.0课程视频，详细讲解了Flume、Kafka、Canal等工具的使用方法以及实际项目中的集成方案。 - **代码示例**：可以通过提供的`CaijiInterceprot.zip`包获取Flume拦截器的源码，并尝试自行编译和打包，进一步理解拦截器的工作原理。 - **文档资料**：查阅项目配套的PDF文档和PPT课件，了解数据采集的整体架构设计及关键配置细节。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值