DataX实现数据同步(分区处理)

原创

已于 2024-02-19 17:04:19 修改 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #sql #数据库 #hive #json #hdfs #database

于 2024-02-19 17:02:04 首次发布

本文介绍了如何使用DataX配合Hive的分区功能，通过创建日期分区字段，优化数据管理。通过JSON配置指定分区路径，并提到需预先创建分区以避免错误。还提及了自动化脚本实现每日数据同步，减少人工操作。

之前使用DataX来实现数据的同步，只是将数据送到了指定的位置，但是并没有分区处理，这样当数据多了的时候就不是可以很方便的管理数据了，因此，可以增设一个分区来对数据进行处理。

1、我们可以先创建一个hive数据表，在建表时侯增加一个用来标记日期的字段用于分区，和MySQL的数据表的结构是相同的，以我的为例：

create table tbl_logs
(
    id                  bigint,
    log_id              string,
    remote_ip           string,
    site_global_ticket  string,
    site_global_session string,
    global_user_id      string,
    cookie_text         string,
    user_agent          string,
    ref_url             string,
    loc_url             string,
    log_time            string
)
partitioned by (today string)
row format delimited
fields terminated by '\t'
;

2、接下来就是进行json文件的配置了，跟我上一篇的配置大同小异，但是在路径中稍有变动

json文件配置：

http://t.csdnimg.cn/yyva2