1.多线程下载工具axel
有的网站单线程下载仍然很慢,wget只能单线程,试试用axel,多线程下载。
axel --num-connections=100 http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.4.0.tar.gz
2.使用gzip编码下载
wget -O - --header="Accept-Encoding: gzip,deflate,sdch" http://www.i-md.com:43210/2013-10-13_all/downloads.csv | gunzip > output
3.ssh/scp-C -c "blowfish"
压缩编码的ssh/scp,很快。
4.autossh,ssh在切换网络时不掉线