windows7下wget下载用法请教
在使用wget下载NASA数据文件时,想要每天定时的下载数据文件,使用bat+wget定时下载,一开始的代码是这样的:
-
wget --load-cookies E:\NASA.urs_cookies --save-cookies E:\NASA.urs_cookies --auth-no-challenge=on --keep-session-cookies --user=XXXX --password=XXXX --content-disposition -r -c -N -P E:\NASA\ -R.tmp,.xml,.html https://acdisc.gesdisc.eosdis.nasa.gov/data/Aura_OMI_Level3/OMNO2d.003/2020/
然后发现他运行过程中虽然会识别已经下载的文件,但是过程非常慢慢,是逐一识别跳过,到一定程度时就出现了如图所示:
然后修改代码 -
wget --load-cookies E:\NASA.urs_cookies --save-cookies E:\NASA.urs_cookies --auth-no-challenge=on --keep-session-cookies --user=XXXX --password=XXXX --content-disposition -r -np -nc -N -c -P E:\NASA\ -R.tmp,.xml,.html https://acdisc.gesdisc.eosdis.nasa.gov/data/Aura_OMI_Level3/OMNO2d.003/2020/
然后结果:
然后看别人的方法去掉N -
wget --load-cookies E:\NASA.urs_cookies --save-cookies E:\NASA.urs_cookies --auth-no-challenge=on --keep-session-cookies --user=XXXX --password=XXXX --content-disposition -r -np -nc -c -P E:\NASA\ -R.tmp,.xml,.html https://acdisc.gesdisc.eosdis.nasa.gov/data/Aura_OMI_Level3/OMNO2d.003/2020/
跳过的效率变高了,但是还是有一点响应时间,还是逐一识别,并且到了64个就停止了,如图:
求助,如何可以跳过已下载文件,每天定时下载最新的数据文件?
--------------------------------更新---------------------------
wget --load-cookies E:\NASA.urs_cookies --save-cookies E:\NASA.urs_cookies --auth-no-challenge=on --keep-session-cookies --user=XXXX --password=XXXX --content-disposition -r -np -N -P E:\NASA\ -R.tmp,.xml,.html https://acdisc.gesdisc.eosdis.nasa.gov/data/Aura_OMI_Level3/OMNO2d.003/2020/
修改了指令,仅用-N指令跳过,效果不错,虽然也是跳过但速度很快,效率提升了很多。-nc与-N有冲突,然而-nc与-N的区别具体还未理解。
博主在使用wget下载NASA数据文件时遇到效率问题,通过尝试不同参数组合,最终发现使用`-N`指令能快速跳过已下载文件,显著提升了下载效率。同时提到了`-nc`与`-N`的冲突,但对于两者的具体区别,博主还在探索中。
1万+

被折叠的 条评论
为什么被折叠?



