数仓使用hadoop distcp同步生产环境的数据到测试环境

1.ODS/DWD---分区表同步数据

#!/bin/bash

source /etc/profile

source ~/.bash_profile

today=`date --date='0 days ago' "+%Y-%m-%d"`

yesterday=`date --date='1 days ago' "+%Y-%m-%d"`

#先删除分区数据

impala-shell -B -u hive -q "alter table ods_out_cy drop partition(dt<='$today');"

[[ $? -eq 0 ]]|| exit

#将master服务器上的数据copy到本机

#今天的数据

hadoop distcp -pb webhdfs://master:8080/foo/ods/ods_out_cy/dt=$today /foo/ods/ods_out_cy/dt=$today

#昨天的数据

hadoop distcp -pb webhdfs://master:8080/foo/ods/ods_out_cy/dt=$yesterday /foo/ods/ods_out_cy/dt=$yesterday

#给数仓中的表增加分区信息

impala-shell -B -u hive -q "alter table ods_out_cy add partition(dt='$yesterday'); "

impala-shell -B -u hive -q "alter table ods_out_cy add