shell脚本的编写

                                       　本文结合大量实例阐述如何编写一个shell脚本。 
　　为什么要进行shell编程 
　　在Linux系统中，虽然有各种各样的图形化接口工具，但是sell仍然是一个非常灵活的工具。Shell不仅仅是命令的收集，而且是一门非常棒的编程语言。您可以通过使用shell使大量的任务自动化，shell特别擅长系统管理任务，尤其适合那些易用性、可维护性和便携性比效率更重要的任务。 
　　下面，让我们一起来看看shell是如何工作的： 
　　建立一个脚本 
　　Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在bash的大姐，bourne shell 中运行）。 
　　如同其他语言一样，通过我们使用任意一种文字编辑器，比如nedit、kedit、emacs、vi等来编写我们的shell程序。程序必须以下面的行开始（必须方在文件的第一行）： 
　　#!/bin/sh 
　　符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。 
　　当编辑好脚本时，如果要执行该脚本，还必须使其可执行。 
　　要使脚本可执行： 
　　chmod +x filename 
　　然后，您可以通过输入： ./filename 来执行您的脚本。 
　　注释 
　　在进行shell编程时，以#开头的句子表示注释，直到这一行的结束。我们真诚地建议您在程序中使用注释。如果您使用了注释，那么即使相当长的时间内没有使用该脚本，您也能在很短的时间内明白该脚本的作用及工作原理。 
　　变量 
　　在其他编程语言中您必须使用变量。在shell编程中，所有的变量都由字符串组成，并且您不需要对变量进行声明。要赋值给一个变量，您可以这样写： 
　　变量名=值 
　　取出变量值可以加一个美元符号（$）在变量前面： 
　　#!/bin/sh 
　　#对变量赋值： 
　　a="hello world" 
　　# 现在打印变量a的内容： 
　　echo "A is:" 
　　echo $a 
　　在您的编辑器中输入以上内容，然后将其保存为一个文件first。之后执行chmod +x first 使其可执行，最后输入./first执行该脚本。 
　　这个脚本将会输出： 
　　A is: 
　　hello world 
　　有时候变量名很容易与其他文字混淆，比如： 
　　num=2 
　　echo "this is the $numnd" 
　　这并不会打印出"this is the 2nd"，而仅仅打印"this is the "，因为shell会去搜索变量numnd的值，但是这个变量时没有值的。可以使用花括号来告诉shell我们要打印的是num变量： 
　　num=2 
　　echo "this is the ${num}nd" 
　　这将打印： this is the 2nd 
　　有许多变量是系统自动设定的，这将在后面使用这些变量时进行讨论。 
　　如果您需要处理数学表达式，那么您需要使用诸如expr等程序（见下面）。 
　　除了一般的仅在程序内有效的shell变量以外，还有环境变量。由export关键字处理过的变量叫做环境变量。我们不对环境变量进行讨论，因为通常情况下仅仅在登录脚本中使用环境变量。 

　　Shell命令和流程控制 

　　在shell脚本中可以使用三类命令： 

　1)Unix 命令: 
　　虽然在shell脚本中可以使用任意的unix命令，但是还是由一些相对更常用的命令。这些命令通常是用来进行文件和文字操作的。 
　　常用命令语法及功能 
　　echo "some text": 将文字内容打印在屏幕上 
　　ls: 文件列表 
　　wc -l filewc -w filewc -c file&: 计算文件行数计算文件中的单词数计算文件中的字符数 
　　cp sourcefile destfile&: 文件拷贝 
　　mv oldname newname : 重命名文件或移动文件 
　　rm file&: 删除文件 
　　grep 'pattern' file&: 在文件内搜索字符串比如：grep 'searchstring' file.txt 
　　cut -b colnum file&: 指定欲显示的文件内容范围，并将它们输出到标准输出设备比如：输出每行第5个到第9个字符cut -b5-9 file.txt千万不要和cat命令混淆，这是两个完全不同的命令 
　　cat file.txt: 输出文件内容到标准输出设备（屏幕）上 
　　file somefile&: 得到文件类型 
　　read var: 提示用户输入，并将输入赋值给变量 
　　sort file.txt: 对file.txt文件中的行进行排序 
　　uniq: 删除文本文件中出现的行列比如： sort file.txt | uniq 
　　expr: 进行数学运算Example: add 2 and 3expr 2 "+" 3 
　　find: 搜索文件比如：根据文件名搜索find . -name filename -print 
　　tee: 将数据输出到标准输出设备(屏幕) 和文件比如：somecommand | tee outfile 
　　basename file&: 返回不包含路径的文件名比如： basename /bin/tux将返回 tux 
　　dirname file&: 返回文件所在路径比如：dirname /bin/tux将返回 /bin 
　　head file&: 打印文本文件开头几行 
　　tail file : 打印文本文件末尾几行 
　　sed: Sed是一个基本的查找替换程序。可以从标准输入（比如命令管道）读入文本，并将结果输出到标准输出（屏幕）。该命令采用正则表达式（见参考）进行搜索。不要和shell中的通配符相混淆。比如：将linuxfocus 替换为 LinuxFocus ： cat text.file | sed 's/linuxfocus/LinuxFocus/' > newtext.file 

　　awk: awk 用来从文本文件中提取字段。缺省地，字段分割符是空格，可以使用-F指定其他分割符。cat file.txt | awk -F,  '{print $1 "," $3 }'这里我们使用，作为字段分割符，同时打印第一个和第三个字段。如果该文件内容如下： Adam Bor,  34, IndiaKerry Miller, 22, USA命令输出结果为：Adam Bor, IndiaKerry Miller, USA 

　2) 概念: 管道, 重定向和 backtick 
　　这些不是系统命令，但是他们真的很重要。 
　　管道 (|) 将一个命令的输出作为另外一个命令的输入。 
　　grep "hello" file.txt | wc -l 
　　在file.txt中搜索包含有"hello"的行并计算其行数。 
　　在这里grep命令的输出作为wc命令的输入。当然您可以使用多个命令。 
　　重定向：将命令的结果输出到文件，而不是标准输出（屏幕）。 
　　> 写入文件并覆盖旧文件 
　　>> 加到文件的尾部，保留旧文件内容。 
　　反短斜线 
　　使用反短斜线可以将一个命令的输出作为另外一个命令的一个命令行参数。 
　　命令： 
　　find . -mtime -1 -type f -print 
　　用来查找过去24小时（-mtime -2则表示过去48小时）内修改过的文件。如果您想将所有查找到的文件打一个包，则可以使用以下脚本： 
　　#!/bin/sh 
　　# The ticks are backticks (`) not normal quotes ('): 

　　tar -zcvf lastmod.tar.gz `find . -mtime -1 -type f -print` 

　3) 流程控制 
　　"if" 表达式 如果条件为真则执行then后面的部分： 
　　if ....; then 
　　　 .... 
　　elif ....; then 
　　　 .... 
　　else 
　　　 .... 
　　fi 
　　大多数情况下，可以使用测试命令来对条件进行测试。比如可以比较字符串、判断文件是否存在及是否可读等等... 
　　通常用" [ ] "来表示条件测试。注意这里的空格很重要。要确保方括号的空格。 
　　[ -f "somefile" ] ：判断是否是一个文件 
　　[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限 
　　[ -n "$var" ] ：判断$var变量是否有值 
　　[ "$a" = "$b" ] ：判断$a和$b是否相等 
　　执行man test可以查看所有测试表达式可以比较和判断的类型。 
　　直接执行以下脚本： 
　　#!/bin/sh 
　　if [ "$SHELL" = "/bin/bash" ]; then 
　　　 echo "your login shell is the bash (bourne again shell)" 
　　else 
　　　 echo "your login shell is not bash but $SHELL" 
　　fi 
　　变量$SHELL包含了登录shell的名称，我们和/bin/bash进行了比较。 
　　快捷操作符 
　　熟悉C语言的朋友可能会很喜欢下面的表达式： 
　　[ -f "/etc/shadow" ] && echo "This computer uses shadow passwors" 
　　这里 && 就是一个快捷操作符，如果左边的表达式为真则执行右边的语句。您也可以认为是逻辑运算中的与操作。上例中表示如果 /etc/shadow文件存在则打印" This computer uses shadow passwors"。同样或操作(||)在shell编程中也是可用的。这里有个例子： 
#!/bin/sh 
mailfolder=/var/spool/mail/james 
[ -r "$mailfolder" ]' '{ echo "Can not read $mailfolder"  exit 1; } 
echo "$mailfolder has mail from:" 
grep "^From " $mailfolder 
　　该脚本首先判断mailfolder是否可读。如果可读则打印该文件中的"From" 一行。如果不可读则或操作生效，打印错误信息后脚本退出。这里有个问题，那就是我们必须有两个命令： 
　　-打印错误信息 
　　-退出程序 
　　我们使用花括号以匿名函数的形式将两个命令放到一起作为一个命令使用。一般函数将在下文提及。 
　　不用与和或操作符，我们也可以用if表达式作任何事情，但是使用与或操作符会更便利很多。 
　　case表达式可以用来匹配一个给定的字符串，而不是数字。 
case ... in 
...) do something here  
esac 
　　让我们看一个例子。 file命令可以辨别出一个给定文件的文件类型，比如： 
file lf.gz 
　　这将返回： 
lf.gz: gzip compressed data, deflated, original filename, 
last modified: Mon Aug 27 23:09:18 2001, os: Unix 
我们利用这一点写了一个叫做smartzip的脚本，该脚本可以自动解压bzip2, gzip 和zip 类型的压缩文件：
#!/bin/sh 
ftype=`file "$1"` 
case "$ftype" in 
"$1: Zip archive"*) 
　　unzip "$1"  
"$1: gzip compressed"*) 
　　gunzip "$1"  
"$1: bzip2 compressed"*) 
　　bunzip2 "$1"  
*) error "File $1 can not be uncompressed with smartzip";; 
esac 
　　您可能注意到我们在这里使用了一个特殊的变量$1。该变量包含了传递给该程序的第一个参数值。也就是说，当我们运行：

smartzip articles.zip 
$1 就是字符串 articles.zip 
　　select 表达式是一种bash的扩展应用，尤其擅长于交互式使用。用户可以从一组不同的值中进行选择。 
select var in ...  do 
　break 
done 
.... now $var can be used .... 
下面是一个例子： 
#!/bin/sh 
echo "What is your favourite OS?" 
select var in "Linux" "Gnu Hurd" "Free BSD" "Other"; do 
　　　　break 
done 
echo "You have selected $var" 
下面是该脚本运行的结果： 
What is your favourite OS? 
1) Linux 
2) Gnu Hurd 
3) Free BSD 
4) Other 
#? 1 
You have selected Linux 
您也可以在shell中使用如下的loop表达式： 
while ...; do 
.... 
done 
while -loop 将运行直到表达式测试为真。 will run while the expression that we test for is true. 关键字"break" 用来跳出循环。而关键字"continue"用来不执行余下的部分而直接跳到下一个循环。 
for-loop表达式查看一个字符串列表 (字符串用空格分隔) 然后将其赋给一个变量： 
for var in ....; do 
　.... 
done 
在下面的例子中，将分别打印ABC到屏幕上： 
#!/bin/sh 
for var in A B C  do 
　echo "var is $var" 
done 
下面是一个更为有用的脚本showrpm，其功能是打印一些RPM包的统计信息： 
#!/bin/sh 
# list a content summary of a number of RPM packages 
# USAGE: showrpm rpmfile1 rpmfile2 ... 
# EXAMPLE: showrpm /cdrom/RedHat/RPMS/*.rpm 
for rpmpackage in $*; do 
　if [ -r "$rpmpackage" ];then 
　　echo "=============== $rpmpackage ==============" 
　　rpm -qi -p $rpmpackage 
　else 
　　echo "ERROR: cannot read file $rpmpackage" 
　fi 
done 
这里出现了第二个特殊的变量$*，该变量包含了所有输入的命令行参数值。如果您运行showrpm openssh.rpm w3m.rpm webgrep.rpm 
此时 $* 包含了 3 个字符串，即openssh.rpm, w3m.rpm and webgrep.rpm. 
引号 
在向程序传递任何参数之前，程序会扩展通配符和变量。这里所谓扩展的意思是程序会把通配符（比如*）替换成合适的文件名，它变量替换成变量值。为了防止程序作这种替换，您可以使用引号：让我们来看一个例子，假设在当前目录下有一些文件，两个jpg文件， mail.jpg 和tux.jpg。 
#!/bin/sh 
echo *.jpg 
这将打印出"mail.jpg tux.jpg"的结果。 
引号 (单引号和双引号) 将防止这种通配符扩展： 
#!/bin/sh 
echo "*.jpg" 
echo '*.jpg' 
这将打印"*.jpg" 两次。 
单引号更严格一些。它可以防止任何变量扩展。双引号可以防止通配符扩展但允许变量扩展。 
#!/bin/sh 
echo $SHELL 
echo "$SHELL" 
echo '$SHELL' 
运行结果为： 
/bin/bash 
/bin/bash 
$SHELL 
最后，还有一种防止这种扩展的方法，那就是使用转义字符——反斜杆： 
echo *.jpg 
echo $SHELL 
这将输出： 
*.jpg 
$SHELL 
Here document. 
当要将几行文字传递给一个命令时，here document.（译者注：目前还没有见到过对该词适合的翻译）一种不错的方法。对每个脚本写一段帮助性的文字是很有用的，此时如果我们四有那个here document.就不必用echo函数一行行输出。 一个 "Here document.quot; 以  shift by 2 
　　--) shift;break;; # end of options 
　　-*) echo "error: no such option $1. -h for help";exit 1;; 
　　*) break;; 
esac 
done 
echo "opt_f is $opt_f" 
echo "opt_l is $opt_l" 
echo "first arg is $1" 
echo "2nd arg is $2" 
您可以这样运行该脚本： 
cmdparser -l hello -f -- -somefile1 somefile2 
返回的结果是： 
opt_f is 1 
opt_l is hello 
first arg is -somefile1 
2nd arg is somefile2 
　　这个脚本是如何工作的呢？脚本首先在所有输入命令行参数中进行循环，将输入参数与case表达式进行比较，如果匹配则设置一个变量并且移除该参数。根据unix系统的惯例，首先输入的应该是包含减号的参数。 
　　实例 
　　一般编程步骤 
　　现在我们来讨论编写一个脚本的一般步骤。任何优秀的脚本都应该具有帮助和输入参数。并且写一个伪脚本（framework.sh），该脚本包含了大多数脚本都需要的框架结构，是一个非常不错的主意。这时候，在写一个新的脚本时我们只需要执行一下copy命令： 
cp framework.sh myscript 

然后再插入自己的函数。 

************************************************************************

************************************************************************

Shell脚本编程的常识

（这些往往是经常用到，但是各种网络上的材料都语焉不详的东西，个人认为比较有用）
七种文件类型

d            目录                                                       l             符号链接

s             套接字文件                                           b            块设备文件

c            字符设备文件                                       p            命名管道文件

-             普通文件
正则表达式

从一个文件或命令输出中抽取或过滤文本时。可使用正则表达式（RE），正则表达式是一些特殊或不很特殊的字符串模式的集合。

       基本的元字符集：

       ^                   只匹配行首。

       $                   只匹配行尾。

       *                   一个单字符后紧跟*，匹配0个或多个此单字符。

       []                   匹配[]内字符，可以是一个单字符，也可以是字符序列。可以使

              用-来表示[]内范围，如[1-5]等价于[1,2,3,4,5]。

\                    屏蔽一个元字符的特殊含义，如\$表示字符$，而不表示匹配行

                    尾。

       .                 匹配任意单字符。

       pattern\{n\}   匹配pattern出现的次数n

       pattern\{n,\}m匹配pattern出现的次数，但表示次数最少为n

       pattern\{n,m\} 匹配pattern出现的次数在n与m之间（n，m为0－255）

几个常见的例子：

       显示可执行的文件：ls –l | grep …x...x..x

       只显示文件夹：ls –l | grep  ^d

       匹配所有的空行：^$

       匹配所有的单词：[A-Z a-z]*

       匹配任一非字母型字符：[^A-Z a-z]

       包含八个字符的行：^……..$(8个.)
字符类描述

以下是可用字符类的相当完整的列表：

[:alnum:] 字母数字 [a-z A-Z 0-9]

[:alpha:] 字母 [a-z A-Z]

[:blank:] 空格或制表键

[:cntrl:] 任何控制字符

[:digit:] 数字 [0-9]

[:graph:] 任何可视字符（无空格）

[:lower:] 小写 [a-z]

[:print:] 非控制字符

[:punct:] 标点字符

[:space:] 空格

[:upper:] 大写 [A-Z]

[:xdigit:] 十六进制数字 [0-9 a-f A-F]

尽可能使用字符类是很有利的，因为它们可以更好地适应非英语 locale（包括某些必需的重音字符等等）.
shell的引号类型

shell共有四种引用类型：

       “ ”          双引号

       ‘ ’           单引号

` `         反引号

\            反斜线

l        “ ” 可引用除$、` 、\ 、外的任意字符或字符串，“ ”中的变量能够正常显示变量值。

l        ‘ ’与“ ”类似，不同在于shell会忽略任何的引用值。

              例如： GIRL=‘girl’

                        echo “The ‘$GIRL’ did well”

              则打印：The ‘girl’ did well

l        ` `用于设置系统命令的输出到变量，shell会将` `中的内容作为一个系统命令并执行质。

              例如：echo `date` 则打印当前的系统时间。

l        \ 用来屏蔽特殊含义的字符：&  *  +  ^  $  `  “  |  ?

例如：expr 12 \* 12 将输出144
变量设置时的不同模式：

valiable_name=value           设置实际值到 variable_name中

valiable_name+value           如果设置了variable_name，则重设其值

valiable_name:?value           如果未设置variable_name，则先显示未定义用户错误信息

valiable_name?value           如果未设置variable_name，则显示系统错误信息

valiable_name:=value   如果未设置variable_name，则设置其值

valiable_name-value            同上，但取值并不设置到variable_name
条件测试

test命令用于测试字符串、文件状态和数字，expr测试和执行数值输出。

Test格式：test condition 或 [ condition ](需要特别注意的是condition的两边都要有一个空格，否则会报错)，test命令返回0表示成功。

l        下面将分别描述test的三种测试：

n        文件状态测试(常用的)

-d           测试是否文件夹

-f            测试是否一般文件

-L          测试是否链接文件

-r           测试文件是否可读

-w         测试文件是否可写

-x           测试文件是否可执行

-s           测试文件是否非空

n        字符串测试

五种格式： test  “string”

                            test  string_operator  “string”

                            test  “string”  string_operator  “string”

                            [ string_operator  “string” ]

                            [ “string”  string_operator  “string” ]

其中string_operator可以为：       =     两字符串相等

                                                               !=    两字符串不等

                                                               -z   空串

                                                               -n   非空串

n        数值测试

两种格式： “number”  number_operator  “number”

                            [ “number”  number_operator  “number” ]

其中：number_operator 可以为：-eq  、-ne、-gt、-lt、-ge

例如：  NUMBER=130

                     [ “990”  –le  “995”  –a  “NUMBER”  -gt  “133” ]

                     (其中-a表示前后结果相“与”)

l        expr命令一般用于整数值，但也可以用于字符串。

n        格式：  expr srgument operator operator argument

例如：  expr 10 + 10

              expr 10 ^ 2 (10的平方)

              expr $value + 10

n        增量计数――expr在循环中最基本的用法

例如：  LOOP=0

              LOOP=`expr $LOOP + 1`

n        模式匹配：通过指定的冒号选项计算字符串中的字符数

例如：  value=account.doc

              expr $value : `\(.*\).doc`

              输出 account
命令执行顺序

&&               成功执行一个命令后再执行下一个

||                    一个命令执行失败后再执行另一个命令

( )                  在当前shell中执行一组命令（格式：(命令1;命令2; ……)）

{ }                同( )

       例如：  comet mouth_end || ( echo “hello” | mail dave ;exit )

             如果没有( )，则shell将直接执行最后一个命令（exit）
脚本调试

最有用的调试脚本的工具是echo命令，可以随时打印有关变量或操作的信息，以帮助定位错误。也可使用打印最后状态($?) 命令来判断命令是否成功，这时要注意的是要在执行完要测试的命令后立即输出$?，否则$?将会改变。

Set命令也可以用来辅助脚本测试：

Set –n           读命令但是不执行

Set –v           显示读取的所有的行

Set –x           显示所有的命令及其参数

（要关闭set选项，只要把－换成+就可以了，这里有点特殊，要注意一下）

************************************************************************

************************************************************************

运算符 描述 示例

文件比较运算符

-e filename 如果 filename 存在，则为真 [ -e /var/log/syslog ]

-d filename 如果 filename 为目录，则为真 [ -d /tmp/mydir ]

-f filename 如果 filename 为常规文件，则为真 [ -f /usr/bin/grep ]

-L filename 如果 filename 为符号链接，则为真 [ -L /usr/bin/grep ]

-r filename 如果 filename 可读，则为真 [ -r /var/log/syslog ]

-w filename 如果 filename 可写，则为真 [ -w /var/mytmp.txt ]

-x filename 如果 filename 可执行，则为真 [ -L /usr/bin/grep ]

filename1 -nt filename2 如果 filename1 比 filename2 新，则为真 [ /tmp/install/etc/services -nt /etc/services ]

filename1 -ot filename2 如果 filename1 比 filename2 旧，则为真 [ /boot/bzImage -ot arch/i386/boot/bzImage ]

字符串比较运算符 （请注意引号的使用，这是防止空格扰乱代码的好方法）

-z string 如果 string 长度为零，则为真 [ -z $myvar ]

-n string 如果 string 长度非零，则为真 [ -n $myvar ]

string1 = string2 如果 string1 与 string2 相同，则为真 [ $myvar = one two three ]

string1 != string2 如果 string1 与 string2 不同，则为真 [ $myvar != one two three ]

算术比较运算符

num1 -eq num2 等于 [ 3 -eq $mynum ]

num1 -ne num2 不等于 [ 3 -ne $mynum ]

num1 -lt num2 小于 [ 3 -lt $mynum ]

num1 -le num2 小于或等于 [ 3 -le $mynum ]

num1 -gt num2 大于 [ 3 -gt $mynum ]

num1 -ge num2 大于或等于 [ 3 -ge $mynum ]

***************************   shell     test   ****************************

1）判断表达式

if test  (表达式为真)

if test !表达式为假

test 表达式1 –a 表达式2                  两个表达式都为真

test 表达式1 –o 表达式2                 两个表达式有一个为真


2）判断字符串

test –n 字符串                                   字符串的长度非零

test –z 字符串                                    字符串的长度为零

test 字符串1＝字符串2                    字符串相等

test 字符串1！＝字符串2               字符串不等


3）判断整数

test 整数1 –eq 整数2                        整数相等

test 整数1 –ge 整数2                        整数1大于等于整数2

test 整数1 –gt 整数2                         整数1大于整数2

test 整数1 –le 整数2                         整数1小于等于整数2

test 整数1 –lt 整数2                          整数1小于整数2

test 整数1 –ne 整数2                        整数1不等于整数2



4）判断文件

test  File1 –ef  File2                            两个文件具有同样的设备号和i结点号

test  File1 –nt  File2                            文件1比文件2 新

test  File1 –ot  File2                            文件1比文件2 旧

test –b File                                           文件存在并且是块设备文件

test –c File                                           文件存在并且是字符设备文件

test –d File                                           文件存在并且是目录

test –e File                                           文件存在

test –f File                                            文件存在并且是正规文件

test –g File                                           文件存在并且是设置了组ID

test –G File                                           文件存在并且属于有效组ID

test –h File                                           文件存在并且是一个符号链接（同-L）

test –k File                                           文件存在并且设置了sticky位

test –b File                                           文件存在并且是块设备文件

test –L File                                           文件存在并且是一个符号链接（同-h）

test –o File                                           文件存在并且属于有效用户ID

test –p File                                           文件存在并且是一个命名管道

test –r File                                            文件存在并且可读

test –s File                                           文件存在并且是一个套接字

test –t FD                                             文件描述符是在一个终端打开的

test –u File                                           文件存在并且设置了它的set-user-id位

test –w File                                          文件存在并且可写

test –x File                                           文件存在并且可执行