wget下载网站的目录

最新推荐文章于 2024-07-30 09:01:54 发布
原创 最新推荐文章于 2024-07-30 09:01:54 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析wget命令的关键参数及其使用场景，包括断点续传、递归下载、目录处理、链接转换等功能，并通过具体实例展示如何高效下载特定目录下的文件。
$ wget -c -r -nd -np -k -L -p -A c,h www.xxx.org/pub/path/

-c  断点续传
-r  递归下载，下载指定网页某一目录下（包括子目录）的所有文件
-nd 递归下载时不创建一层一层的目录，把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录，如wget -c -r www.xxx.org/pub/path/
    没有加参数-np，就会同时下载path的上一级目录pub下的其它文件
-k  将绝对链接转为相对链接，下载整个站点后脱机浏览网页，最好加上这个参数
-L  递归时不进入其它主机，如wget -c -r www.xxx.org/ 如果网站内有一个这样的链接：
    www.yyy.org，不加参数-L，就会像大火烧山一样，会递归下载www.yyy.org网站
-p  下载网页所需的所有文件，如图片等
-A  指定要下载的文件样式列表，多个样式用逗号分隔

实例：
wget -c -r -np -L /var/www/html/cm5.5.1 archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.5.1/
下载后 /var/www/html/cm5.5.1/archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.5.1/ 下是我要的文件
wget 递归下载整个网站(网站扒皮必备)
太极淘的博客
11-09 2788
有时间看到别人网站的页面比较漂亮，就想给扒皮下来，学习学习。分享一个我常用网站扒皮命令wget这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。wget加上参数之后，即可成为相当强大的下载工具。wget命令详解-r, --recursive（递归） specify recursive download.（指定递归下载）
vbs结合wget 实现下载网站图片
09-04
本文主要实现了使用vbs脚本调用wget，下载网站所有页面到本脚本目录，并扫描本脚本目录中所有文件，读取本脚本目录中的所有网页，匹配图片 URL 地址，保存所有图片 URL 地址到 url-img.txt 文件，然后调用wget: 下载...
wget下载整个网站或目录
chongkuachan8070的博客
10-17 222
扎克伯克电影中的场景啊= =有意思。 原贴:http://jnote.cn/blog/shell/wget-download.html wget下载整个网站或目录 一 21st, 2009| shell| no comments ...
wget下载文件到指定目录
willingtolove的博客
09-25 4万+
文章目录#不指定下载目录#指定下载目录#指定下载目录及文件名 #不指定下载目录 如果不指定下载目录，那么文件将被下载到当前目录。 命令格式：wget 网址 wget https://repo.mysql.com//mysql80-community-release-el8-1.noarch.rpm #指定下载目录 命令格式：wget -p 目录 网址 wget -P /home/test https://repo.mysql.com//mysql80-community-release-el8-1.n
wget 下载文件及目录
我有一个魔盒的博客
08-15 4167
当递归检索时，永远不要上升到父目录。但是还是下载整个路径树的，想要只下载最后一层，使用。目录的逗号分隔列表，可能含通配符。目录的逗号分隔列表，可能含通配符。逗号分隔的文件名或模式列表。逗号分隔的文件名或模式列表。
wget 命令下载网络文件到指定目录
DreamWendy
12-02 2万+
linux wget命令 下载网络文件
wget下载整个根目录
wjcaiyf的专栏
04-03 1896
wget -c -r -np -nH -k -L -p -e robots=off 要下载的目录完整URL
精选资源
支持中文目录wget版本，linux版本
08-04
wget下载地址：https://ftp.gnu.org/gnu/wget/ 在wget的源代码中 src/url.c 这个文件中有wget如何处理文件名的函数url_file_name() url_file_name()在根据url的形式判断该保存为什么样的文件名，并进行了多方面的...
wget网站下载工具
11-20
使用wget下载文件非常简单，基本语法如下： ```bash wget [选项] URL ``` 其中，URL是你要下载的文件的网络地址，选项则包括但不限于以下这些常见用法： - `-c` 或 `--continue`：续传功能，如果下载中断，可以继续...
使用wget递归镜像网站
09-15
`wget`提供了一种递归下载的功能，允许用户复制整个网站。此功能通过`-r`或`--recursive`选项激活。例如，要递归下载一个网站的所有内容，可以使用如下命令： ```bash wget -r http://example.com ``` ### 转换链接...
网站整站下载包括目录可用
08-27
网站整站下载包括目录可用
wget下载目录内的所有文件
武子杰的博客（linux，docker，k8s技术分享）
01-03 5480
需要下载某个目录下面的所有文件。 命令如下 wget -c -r -np -k -L -p http://docs.openstack.org/liberty/install-guide-rdo/ 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH -r –span-hosts www.xianren.org/pub/path/ -c 断点续传 -r...
使用wget遍历下载http目录
counsellor的专栏
10-24 5893
0x00 下载HTTP目录下全部文件 命令 wget -c -r -np -k -L -p www.evil.com/samples/ 执行后wget会创建一个该网站名称的目录保存递归下载的全部文件。这种下载的方式的好处是保持原有目录结构，条理清晰。 参数解释 -c 断点续传 -r 递归下载，默认深度是5层，可以通过-l参数指定depth。 -np --no-parent 递归下载时不访问父级目录，能够有效的控制下载范围。 -nd 递归下载时不会递归创建目录，会把所有的文件保存到一个目录里。 -k 转换下
wget下载文件到指定目录并更名
Johnny's Lab
07-30 2366
如果不指定下载目录，那么文件将被下载到当前目录。
wget 使用技巧集锦
07-05 143
代码: 　　$ wget --help 　　GNU Wget 1.9.1，非交互式的网络文件下载工具。　　用法： wget [选项]... [URL]... 　　长选项必须用的参数在使用短选项时也是必须的。 启动： 　　-V, --version 显示 Wget 的版本并且退出。　　-h, --help 打印此帮助。　　-b, -background 启动后进入后台操作。　　-e, ...
CentOS7 通过wget下载文件到指定目录
热门推荐
ywl470812087的博客
05-12 12万+
在Linux命令行下面下载文件，通过wget是比较普遍简单的，比如在CentOS7 里面也一样。 我们先来看下自己的CentOS7 系统有没有安装wget： [root@test redis]# rpm -qa|grep wget 1 如果安装了会提示当前安装的版本： wget-1.14-15.el7_4.1.x86_64 1 没安装的话可以通过以下命令安装： yum install -y ...
wget下载http下指定路径下的文件及其子目录下所有文件
保持好奇
07-12 3414
否则会下载到some路径下的其他目录及文件。
curl和wget下载文件到指定文件夹
wangpachong的博客
03-01 8545
curl和wget下载文件到指定文件夹 curl -o C:\Users\86150\Desktop\wstest\20220302\index2.html --create-dirs http://XXXX 如果没有 -o 后的目录，会自动创建 wget -P /usr/local/ws/20220302 http://xxxxx 如果没有 -o 后的目录，会自动创建 ...
解决使用 Transporter 上传 ipa 到 App Store 时，会卡住或者非常慢
Honiler的博客
10-24 2917
原因 Transporter 安装上第一次打开后，会在硬盘目录：~/Library/Caches/com.apple.amp.itmstransporter 目录下下载一些缓存文件，这些缓存文件没有下载完，或者下载失败没下载完时，使用Transporter去提交应用这个页面就会卡住或者这个页面很慢。 使用 到https://github.com/iOSDevLog/com.apple.amp.itmstransporter/releases 下载zip 包，或者 git clone https://.
wget 下载目录
最新发布
08-06
要使用 `wget` 下载整个目录的内容，可以通过递归下载功能实现。`wget` 提供了 `-r`（或 `--recursive`）选项，用于递归地下载远程服务器上的目录内容[^1]。该功能允许用户下载整个网站或特定目录下的所有文件，包括嵌套子目录和文件。 ### 下载整个目录的命令示例 以下是一个典型的命令，用于下载整个远程目录及其子目录中的所有文件： ```bash wget -r http://example.com/directory/ ``` 此命令会递归下载 `http://example.com/directory/` 下的所有内容，并保留原始目录结构。 ### 优化递归下载的参数 为了更好地控制下载行为，可以结合以下常用参数： - `-np`（或 `--no-parent`）：不向上层目录递归，确保只下载指定目录下的内容。 - `-nH`（或 `--no-host-directories`）：禁用以主机名命名的目录结构。 - `--cut-dirs=n`：忽略远程路径中的前 `n` 层目录。 - `-P`：指定本地保存下载内容的根目录。 例如，下载 `http://example.com/directory/` 并保存到本地 `~/downloads/` 目录中，忽略前两层目录： ```bash wget -r -np -nH --cut-dirs=2 -P ~/downloads/ http://example.com/directory/ ``` ### 限制下载范围 若希望仅下载特定类型的文件，可使用 `-A` 参数指定文件扩展名。例如，仅下载 `.pdf` 文件： ```bash wget -r -A.pdf http://example.com/directory/ ``` ### 避免服务器过载 为防止因大量请求导致服务器过载，建议使用 `-w` 参数设置下载间隔时间。例如，每次请求之间等待 2 秒： ```bash wget -r -w 2 http://example.com/directory/ ``` ### 静默下载 若希望减少输出信息，可以使用 `-q` 参数进行静默下载： ```bash wget -r -q http://example.com/directory/ ``` 通过上述命令和参数组合，可灵活地实现 `wget` 下载整个目录的需求。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值