shell去掉空格、逐行读文件、断行符转换、md5

去掉空格

echo $VAR | sed 's/ //g'

断行符转换

dos2unix

逐行读取文件

while read line
do
      echo $line
 done < csv_files_target/file_norepeat_adid_$filedate.txt.txt

转自：

http://tilt.lib.tsinghua.edu.cn/node/553

shell中计算字符串的md5值

echo 123|md5sum
ba1f2511fc30423bdbb183fe33f3dd0f  -

php -r "echo md5('123');"
202cb962ac59075b964b07152d234b70

两者的md5值不一致，于是有很多有趣的解法：

1 Mysql解法：

mysql> select md5('123');
+----------------------------------+
| md5('123')                       |
+----------------------------------+
| 202cb962ac59075b964b07152d234b70 |
+----------------------------------+

2 修正换行符法

[root@fetion ~]# printf 123|md5sum 
202cb962ac59075b964b07152d234b70  -
[root@fetion ~]# echo -n 123|md5sum 
202cb962ac59075b964b07152d234b70  -
[root@fetion ~]# echo 123|tr -d '\n'|md5sum 
202cb962ac59075b964b07152d234b70  -

小结一下：

1 echo默认是带换行符做结尾的
2 echo -n 可以去掉换行符
3 printf是没有换行符结尾的
4 tr可以删掉一个字符，如 tr -d '\n'
5 php命令行执行一段程序是 php -r "code"