fanlying的博客

一、全量抽取 #!/bin/bash set -e #取出当前执行文件名,既表名 file_name=`basename $0 .sh` #json文件名 json_name=${file_name}.json #当前目录路径 dir_path=`dirname $0` cd ${dir_path} hive -e "truncate table bigdata_ods.${file_na...

执行shell脚本批量删除hive表分区 执行命令： sh delete_partitions.sh schema.table_name 2017-11-01 2017-12-01 delete_partitions.sh脚本如下： #!/bin/sh if [ $# == 3 ]; then begin_date=`date -d "+0 day $2" +%Y-...

笔者在工作中需要动态传入日期参数执行脚本，但是将多个日期一个一个传入会降低执行效率，故根据一定时间段将日期聚合划分成区间段可以减少传参执行的次数。此例子以7天为范围聚合日期到区间段，可以根据实际需要改进。 案例中的日期文件date.txt中的日期如下： 2018-01-02 2018-07-01 2018-07-11 2018-07-15 2018-07-17 2018-07-13 2017...

#!/bin/bash timer_start=`date "+%Y-%m-%d %H:%M:%S"` # 计时器 timediff(){ duration=$(($(date +%s -d "${3} ${4}") - $(date +%s -d "${1} ${2}"))) echo "开始时间：${1} ${2}" echo "结束时间：${3} ${4}" ...

前提：分区字段统一为ds，适用于常规增量抽取，通过创建和更新时间抽取。 #!/bin/bash # 适用于常规增量抽取，通过创建和更新时间抽取 # 手工填写以下参数: # 分区表达式，hive语法：pt_expr # 主键字段，联合主键写id1,id2,id3：pk # 非分区表增量数据量阈值，分区表不用管:inc_cnt set -e timer_start=`date "+%Y-...