shell编程快速入门

数据平台主要使用java、shell、python等开发语言，熟悉shell语言，可以提高脚本的开发速度，在此抛砖引玉

准备工作

一颗希望通过工具快速解放自己的心，一台装有linux操作系统的电脑。

基础知识

例子，欢迎来到shell的世界

#!/bin/sh
echo "hello girl,welcom to the world of shell!"

保存为hello.sh,执行

$ sh hello.sh
hello girl,welcom to the world of shell!
$ chmod +x hello.sh
$ ./hello.sh
hello girl,welcom to the world of shell!

引号

无引号：字符串，不允许特殊字符，不允许变量替换；

单引号 ''：字符串，特殊字符，不允许变量替换；

双引号 ""：字符串，允许特殊字符，允许变量替换；

反引号 ``：引号内作为命令执行，输出作为字符串值;

分支

if command              if [ $x = "xinyan.yang" ]
then                    then
  command                   echo "send email to $x"
fi                      fi

读取文件，读取每一行并输出

#!/bin/sh
while read line
do
    echo $line
done </data/xinyan.yang/data/userdata.txt

while循环

 #!/bin/sh
 i=0
 sum=0
 while [ $i -le 50 ]
  do
  sum=$(( $sum + $i ))
  i=$(( $i + 1 ))
 done
 echo "1+2+3+...+50=${sum}"

查找与替换

重点掌握grep、sed命令，在此抛砖引玉下

grep命令

dba迁库，数据源发生修改，所有影响的数据源都需要修改，

搜索包含有数据库dp_stat的脚本

$ grep "test" *.sh
 bd_stat.sh:database="test"
 clientchanneldefine.sh:database="test"
 login_stat.sh:database="test"

sed命令(参考sed简明教程 )

脚本数据源修改，修改数据库名test为dp_stat

 $ sed -i 's/test/dp_stat/g' university_info.sh

文本处理

业务场景：给你10万个用户id，查出这些id是白领还是学生,按一万个切割，组成id串，然后in查询

split命令，切割文件

 split userid.txt -l 10000 user_split

tr转换

 cat  user_split | tr  '\n'  ','  

最后尾部会多一个"，"

可以通过上小结讲的sed命令处理,删掉行尾最后一个字符

cat  user_split | tr  '\n'  ','  | sed 's/.$//'

问题如上：一句话搞定

 paste -s -d "," user_split

awk文本处理神器啊

打印第一列，第四列，详细可以参考AWK简明教程

 netstat | awk '{print $1 $4}'

comm命令，文件交集、并集

 comm  userida.txt  useridb.txt
只在userida.txt中出现用户id  只在useridb.txt中出现用户id  即在userida.txt出现，又在useridb.txt出现用户id

sort命令，文本排序

按照每个ip注册的用户总数进行排序，-n  按整数排序，-r 降序排序

第一列ip    第二列：用户总数
sort -nr -k 2 login_client_reg_2013-05-18.txt >a.log

注意

变量一般用小写，系统变量一般是大写

给变量赋值，=左右两边不能有空格，若变量的值需要空格，则需要加""

if语句千万不要有空格，如下if后有空格，[jebe:后和前]都有空格（坑爹啊，写shell，第一个坑就栽倒这儿）

判断两个对象是否相等时，等号的左右都要有空格，否则会当成赋值语句

参考资料

Linux Shell脚本攻略（人民邮电出版社）隆重推荐，书薄，实用