第一个shell脚本用到的一些简单命令，记录下

Shell脚本实用技巧

原创于 2012-12-21 11:09:49 发布 · 642 阅读

CC 4.0 BY-SA版权

50 篇文章

订阅专栏

本文介绍了几种Shell脚本中常见的实用技巧，包括查询Hive、使用awk进行数据处理、实现while循环与if条件判断、遍历数组、定义及调用方法、统计文件行数等。这些技巧对于日常的数据处理和脚本编写非常有用。

1、查询hive

export HIVE_HOME=/data/apps/hive
export PATH=$PATH:/usr/local/bin:$HIVE_HOME/binhive -e "use DB;SELECT_SQL>redirect.txt

2、awk去重

cat file1.txt file2.txt |awk 'a[$0]++' |sort -u >redirect.txt

3、while循环、if判断

while read line; 
do
    initNum=10;
    if [ $initNum -eq 1 ]
    then          
        count1=$((count1+1));
    fi       
done < redirect.txt

4、数组循环

dateArr=('2012-11-20' '2012-11-21')
for filedate in ${dateArr[*]}
do
    echo $filedate
done

5、方法调用

#方法定义

function tongjiFunc() {
    filedate=`date -d "$1" +"%Y-%m-%d"`;}##调用tongjiFunc 2012-11-20

6、统计行数

wc -l

7、awk重复次数
awk '{arr[$0]++} END{ for (key in arr) print key,"-->",arr[key] }' e