shell模拟多进程（1）

最新推荐文章于 2020-03-05 11:38:51 发布

转载最新推荐文章于 2020-03-05 11:38:51 发布 · 113 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://yq.aliyun.com/articles/521972

文章标签：

#shell #5g

本文介绍了一种通过编写Shell脚本来高效同步大量文件的方法。针对不同大小和数量的文件，采用了不同的wget参数设置来实现最优下载速度。对于小规模文件夹采用递归下载方式，而对于大规模文件夹则通过生成URL列表并按列表下载。该方案有效利用了多进程并发提高下载效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

场景：
由于需要把http://x.x.x.x//VipProcessData/BasicObject/下的所有内容同步到远程另一个机器。BasicObject/目录下有9个目录每个目录下有200~1000个文件不等文件小的几十k大的几百兆总计270G
测试wget xxxxxxx 只有1M/s的速度如果同时启动n个wget xxxxx基本能打到nM/s的速度。
由于"AreaObject ClassObject FullTextObject FundObject MediaObject OrganObject“几个子目录下文件总计都不大加起来也只有4~5G 因此这几个目录使用
wget -m -np -c -nH http://x.x.x.x/VipProcessData/BasicObject/$name/ ;下载
而其他几个目录先把文件整理成url列表然后以
wget -c -i /url1的方式来下载。

shell 以
{}&来模拟一个进程
因此：

 
         ################以下是脚本#############################
        
         #!/bin/bash
        
         #file /usr/local/data/VipProcessData/wget.sh
        
         base=
         /usr/local/data/   
         #定义基本保存路径 
        
         dir
         =
         "AreaObject  ClassObject  FullTextObject  FundObject  MediaObject  OrganObject"  
         定义需要使用wget -m -np  -c -nH 来下载的目录名 
        
         for 
         name 
         in 
         $
         dir 
        
         do
        
         {
        
         cd 
         "$base" 
        
         wget -m -np  -c -nH  http:
         //x
         .x.x.x
         /VipProcessData/BasicObject/
         $name/ 
        
         }&  
         #实际循环启动了6个后台进程执行wget -m -np  -c -nH  http://x.x.x.x/VipProcessData/BasicObject/$name/ 
        
         done
        
         wait  
         #等待进程执行完成 
        
         echo 
         "finshed the  data AreaObject  ClassObject  FullTextObject  FundObject  MediaObject  OrganObject downloading" 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/SubjectObject  
         &&  wget -c -i 
         /usr/local/wget/SubjectObject01 
        
         }&  
         #启动1个进程执行wget -c -i /usr/local/wget/SubjectObject01 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/SubjectObject  
         &&  wget -c -i 
         /usr/local/wget/SubjectObject02 
        
         }&  
         #启动1个进程执行wget -c -i /usr/local/wget/SubjectObject02 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/SubjectObject  
         &&  wget -c -i 
         /usr/local/wget/SubjectObject03 
        
         }&  
         # 启动1个进程执行wget -c -i /usr/local/wget/SubjectObject03 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/SubjectObject  
         &&  wget -c -i 
         /usr/local/wget/SubjectObject04 
        
         }& 
         # 启动1个进程执行wget -c -i /usr/local/wget/SubjectObject04 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/WriterObject  
         &&  wget -c -i 
         /usr/local/wget/WriterObject01 
        
         }& 
         # 启动1个进程执行wget -c -i /usr/local/wget/SubjectObject05 
        
         wait  等待上述5个进程执行完
        
         echo 
         "finshed thr data of WriterObject and SubjectObject" 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/TitleObject  
         && 
         nohup  
         wget -c -i 
         /usr/local/wget/TitleObject01 
        
         }&    
         #启动1个进程执行wget 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/TitleObject  
         && 
         nohup  
         wget -c -i 
         /usr/local/wget/TitleObject02 
        
         }&   
         #启动1个进程执行wget 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/TitleObject  
         && 
         nohup  
         wget -c -i 
         /usr/local/wget/TitleObject03 
        
         }&  
         #启动1个进程执行wget 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/TitleObject  
         && 
         nohup  
         wget -c -i 
         /usr/local/wget/TitleObject04 
        
         }&  
         #启动1个进程执行wget 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/TitleObject  
         && 
         nohup  
         wget -c -i 
         /usr/local/wget/TitleObject05 
        
         }&  
         #启动1个进程执行wget 
        
         {
        
         cd 
         /usr/local/data/VipProcessData/BasicObject/TitleObject  
         && 
         nohup  
         wget -c -i 
         /usr/local/wget/TitleObject06 
        
         }&  
         #启动1个进程执行wget 
        
         wait  等待上述6个进程执行完
        
         echo 
         "finshed thr data of TitleObject" 
        
         echo 
         ”all data download finshed“ 
        
         ##############以上是脚本#############################

可以看出脚本先后同时启动n个进程，待进程全部结束后再启动n个进程。缺点，不能保障n个进程每次都能同时或者接近同时完成。因此实际上上述脚本理论上最大的下载速度是6m/s （最开始同时启动了6个进程）之后就再也没有过同时达到6m/s的下载速度了。

目录遍历

 
         dir
         =
         /usr/local/data 
        
         for 
         name 
         in 
         `
         ls 
         $
         dir
         ` 
        
         do
        
         {
        
         cd 
         $
         dir
         /$name 
        
         .......
        
         }