shell快速迁移海量文件

shell快速迁移海量文件

标签： shell脚本path

2012-03-02 14:57 1242人阅读 评论(0) 收藏 举报

本文章已收录于：

分类：

LINUX Management（49）

作者同类文章 X

版权声明：本文为博主原创文章，未经博主允许不得转载。

author：skate
time：2012/03/02

 

同事的写的一个脚本，觉得非常好，实用性很强，精致短小，特记录与此，方便以后查用.

 

业务需求：需要把一个目录下的1000多万个文件迁移到远程机器
思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法，

 

具体的shell脚本如下：

#! /bin/sh
home=/usr/local/www/skate/image63delback
cd $home
    if [ `pwd` == $home ];then
a="1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"
    for b in $a
       do
c=`expr $b + 100000`
    for loop in `sed -n "$b,$c"p $1`
       do
path=`echo $loop | awk -F "/" '{print $1"/"$2"/"$3"/"$4}'`
        mkdir -p $path
       /usr/bin/wget http://172.16.111.163/$loop -P $path
       echo $loop >> $1.log
    done
done
fi

 

 

 

 

-----end----

 

 

顶

0

踩

0

 

 

• 上一篇mysql表的优化
• 下一篇mysql模式：master/slave

我的同类文章

LINUX Management（49）

http://blog.youkuaiyun.com

• •How to fix hung_task_timeout_secs and blocked for more than 120 seconds problem2015-03-13阅读3704
• •linux手动释放cache2014-07-01阅读3396
• •IO调度器2013-08-08阅读1494
• •tcprstat工具安装与使用2013-01-11阅读6016
• •Power Designer 12.5 下载及破解2012-05-18阅读1361
• •linux交换分区回收2012-04-12阅读1793

• •SaltStack Installation(一)2014-11-12阅读1073
• •linux恢复意外删除的文件2013-10-12阅读21733
• •mysql在线无性能影响删除7G大表2013-03-01阅读4463
• •linux磁盘容量变为64Z2012-06-05阅读3969
• •linux的inode暴增2012-04-26阅读3686

更多文章