写了一个批量下载页面以及页面引用图片的脚本

最新推荐文章于 2024-04-08 08:08:52 发布

mapleandkw

最新推荐文章于 2024-04-08 08:08:52 发布

阅读量788

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/mapleandkw/article/details/42390771

本文介绍了一个使用bash编写的脚本，该脚本能够批量下载指定URL列表中的网页，并提取网页内的图片链接进行下载。通过定义下载任务，脚本可以实现网页及其引用资源的完整备份。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/bin/bash
#
#批量下载页面以及页面引用图片的脚本
#
#write by since1986 at 2014-05-12

#页面引用图片的目标下载目录
img_download_destination_folder="/opt/gbk/inc/wbts"

#页面引用图片的下载列表文件
img_download_list_file_path="/tmp/page_and_img_download.list"

#页面引用图片的引用方式的正则
img_regex="http://\S*(\.jpg|\.gif)"

#读取下载任务定义文件 下载任务定义文件使用 每行一段 “要下载的页面链接=下载目标路径” 的形式定义多个下载任务
page_src_url_map=`cat page_urls.map`


#循环下载任务定义中的每一项下载任务
for line in $page_src_url_map
    do
        page_src_url=`echo $line | cut -d= -f1` #从下载定义中获得要下载页面的源地址
        page_desc_path=`echo $line | cut -d= -f2` #从下载定义中获得要下载页面的目标路径
        wget $page_src_url -c -O $page_desc_path #使用断点续传的方式下载页面
        cat $page_desc_path | egrep -o $img_regex > $img_download_list_file_path #提取下载好的页面中包含的引用图片的链接并保存为下载列表文件
        wget -c -P ${img_download_destination_folder}/img/ -i $img_download_list_file_path #依据引用图片下载列表文件下载引用图片
        rm -rf $img_download_list_file_path #删除引用图片下载列表文件
    done