Wget/httrack 爬取整站资源

原创已于 2023-09-22 15:15:42 修改 · 8.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#运维 #网络工具 #web页面下载

于 2018-05-20 14:18:00 首次发布

博客园搬家专栏收录该内容

196 篇文章

订阅专栏

本文介绍了wget和HTTrack两款强大的离线下载工具。wget支持HTTP、HTTPS、FTP协议下载，并能使用HTTP代理；而HTTrack则可以轻松地从互联网下载整个网站以供离线浏览。文章还提供了具体的安装及使用命令示例。

wget 是一个从网络上自动下载文件的自由工具，支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议下载，并可以使用 HTTP 代理。"wget" 这个名称来源于 “World Wide Web” 与 “get” 的结合。

[root@localhost ~]# yum install -y wget
[root@localhost ~]# wget -c -r -npH -k -nv http://www.baidu.com

参数说明
-c：断点续传
-r：递归下载
-np：递归下载时不搜索上层目录
-nv：显示简要信息
-nd：递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中
-p：下载网页所需要的所有文件(图片,样式,js文件等)
-H：当递归时是转到外部主机下载图片或链接
-k：将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了
-L:     只扩展相对连接，该参数对于抓取指定站点很有用，可以避免向宿主主机

wget.exe -d -S -O - http://lyshark.com # 显示请求和响应的headers
wget -c -r -npH -k -nv http://lyshark.com # 爬取整个页面
--user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10"

HTTrack是一个免费并易于使用的线下浏览器工具，全称是HTTrack Website Copier for Windows，它能够让你从互联网上下载整个网站进行线下浏览。

[root@localhost ~]# yum install -y httrack
[root@localhost ~]# httrack "https://www.baidu.com" -o "/root" "+*.https://www.baidu.com*" -v

页面渲染工具

#安装所需要的包：
yum install -y yum-utils device-mapper-persistent-data lvm2
docker pull scrapinghub/splash
docker run -d -p 8050:8050 scrapinghub/splash

#通过浏览器访问8050端口验证安装是否成功