本文介绍在数据抓取过程中，如何使用系统工具如axel和wget结合os模块的system命令，以提高下载速度，特别是在处理大量文件如压缩包、音频、视频和图片时。在Linux环境下，axel被证实比wget更高效，而Windows平台则推荐使用迅雷会员。此外，文章还提及了xwaredesktop在Linux上的应用。
在爬数据的时候很多时候需要下载文件比如压缩文件,音频,视频,图片等等,这些文件通常有一个请求的url,这个时候使用request模块或者urllib模块都很慢,而且很不稳定,这个时候使用wget或者axel等系统工具并结合os模块的system命令就很稳定并且很快
在数据抓取的时候很能加快速度
sudo apt-get install axel
亲测比wget快非常多:)
如果在 Windows平台可以使用迅雷会员下载更快一些,
linux上面有 xware desktop
转载于:https://www.cnblogs.com/wybert/p/10165758.html
扫一扫
7358
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
