zcb_data的博客

HIVE使用regexp_replace替换string特殊字符

#!/bin/shif [ -n "$1" ] ;then db_date=$1else db_date=`date -d "-1 day" +%Y%m%d`fiend_date="20180101"while [[ $db_date > $end_date ]]doecho ${db_date:0:6}db_date=`date -d "-1 month $db_date" +%Y%m%d`done

#!/bin/bash#author zcb# *************************************# 功能描述:# 检查从ftp 下载数据情况# 输出文件:# remain_${month_id}_no_uploaded.txt 未上传到ftp列表# remain_head.txt 未上传到ftp列表-表头# remain_${month_id}.txt 未下载或者未下载到本地列表# **********************************.

#! /bin/bashsqoop=/opt/module/sqoop/bin/sqoopdo_date=`date -d '-1 day' +%F`if [[ -n "$2" ]]; then do_date=$2fiimport_data(){$sqoop import \--connect jdbc:mysql://hadoop102:3306/gmall \--username root \--password 000000 \--target-dir /orig...

awk命令是一种很方便的字段截取工具，然而在编写shell脚本中，给awk命令传入参数却有着严格的格式，博主经过多次测试，才找到给awk命令传参的方法：如以下脚本：#!/bin/bash##处理脚本#################i=$1echo ----------------开始 $i -------------------------- for (( j = $[$i+1]...

大家经常使用for循环来給指定脚本输入参数，按照参数的输入顺序脚本顺序执行，如以下脚本：for (( i = 1; i <= 999; i++ ))do sh diaoyong.sh $i done把1-999不停输入diaoyong.sh脚本中，该脚本要循环999次才能执行完成，执行效率极慢，我们可以使用for循环中的并行，根据输入的参数，同时执行多个任务，但是这种会同时开启999个...

stime=`date +%s`#获取当前时间echo 开始处理文件: B08101007_${month_id}.txt.gz#处理文件zcat B08101007.txt.gz | awk -F '\x01' '{#压缩文件查看方式使用zcat，分隔符为'\X01'     if($2 == 822) {n2="V0511300"}#判断第二个字段值是否是822，如果是替换成...