zcb_data的博客

HIVE使用regexp_replace替换string特殊字符

#!/bin/sh if [ -n "$1" ] ;then db_date=$1 else db_date=`date -d "-1 day" +%Y%m%d` fi end_date="20180101" while [[ $db_date > $end_date ]] do echo ${db_date:0:6} db_date=`date -d "-1 month $db_date" +%Y%m%d` done

#!/bin/bash #author zcb # ************************************* # 功能描述: # 检查从ftp 下载数据情况 # 输出文件: # remain_${month_id}_no_uploaded.txt 未上传到ftp列表 # remain_head.txt 未上传到ftp列表-表头 # remain_${month_id}.txt 未下载或者未下载到本地列表 # **********************************.

#! /bin/bash sqoop=/opt/module/sqoop/bin/sqoop do_date=`date -d '-1 day' +%F` if [[ -n "$2" ]]; then do_date=$2 fi import_data(){ $sqoop import \ --connect jdbc:mysql://hadoop102:3306/gmall \ --username root \ --password 000000 \ --target-dir /orig...

awk命令是一种很方便的字段截取工具，然而在编写shell脚本中，给awk命令传入参数却有着严格的格式，博主经过多次测试，才找到给awk命令传参的方法：如以下脚本：#!/bin/bash ##处理脚本 ################# i=$1 echo ----------------开始 $i -------------------------- for (( j = $[$i+1]...

大家经常使用for循环来給指定脚本输入参数，按照参数的输入顺序脚本顺序执行，如以下脚本：for (( i = 1; i <= 999; i++ )) do sh diaoyong.sh $i done把1-999不停输入diaoyong.sh脚本中，该脚本要循环999次才能执行完成，执行效率极慢，我们可以使用for循环中的并行，根据输入的参数，同时执行多个任务，但是这种会同时开启999个...

stime=`date +%s` #获取当前时间 echo 开始处理文件: B08101007_${month_id}.txt.gz #处理文件 zcat B08101007.txt.gz | awk -F '\x01' '{ #压缩文件查看方式使用zcat，分隔符为'\X01'      if($2 == 822) {n2="V0511300"} #判断第二个字段值是否是822，如果是替换成...