shell之curl用法笔记

最新推荐文章于 2024-08-13 22:43:08 发布

lizhi200404520

最新推荐文章于 2024-08-13 22:43:08 发布

阅读量1.5k

点赞数

分类专栏： C/C++ Linux

Linux 同时被 2 个专栏收录

62 篇文章

订阅专栏

C/C++

56 篇文章

订阅专栏

本文介绍了curl命令的各种高级用法，包括基本操作、通过代理访问、处理cookie、模仿浏览器、伪造referer、循环下载、断点续传、GET及POST上传等。通过这些技巧可以更加高效地利用curl进行网页抓取和文件下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基本用法（配合sed/awk/grep）
$curl http: //bpsky.net

下载保存
$curl http://bpsky.net > index.html
$curl -o index.html http://bpsky.net
$curl -O http://bpsky.net/target.tar.gz

通过代理
$curl -x  123.45 . 67.89 : 1080  -o page.html http://bpsky.net

保存cookie
$curl -x  123.45 . 67.89 : 1080  -o page1.html -D cookie0001.txt http://bpsky.net

使用cookie
$curl -x  123.45 . 67.89 : 1080  -o page1.html -D cookie0002.txt -b cookie0001.txt http://bpsky.net

模仿浏览器
$curl -A  "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"  -x  123.45 . 67.89 : 1080  -o page.html -D cookie0001.txt http://bpsky.net

伪造referer
$curl -A  "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"  -x  123.45 . 67.89 : 1080  -e "mail.yahoo.com"  -o page.html -D cookie0001.txt http://bpsky.net

循环下载
$curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG

循环（匹配）下载
$curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG  # >like zzh/001.JPG

循环（引用）下载
$curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG # like >001_zzh.jpg

断点续传
$curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG
$curl -r  0 - 10240  -o  "zhao.part1"  http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
$curl -r 10241 - 20480  -o  "zhao.part1"  http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
$curl -r 20481 - 40960  -o  "zhao.part1"  http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
$curl -r 40961 - -o  "zhao.part1"  http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3
...
$cat zhao.part* > zhao.mp3

GET 上传
$curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345

POST 上传
$curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi

POST 文件上传
$curl -F upload= $localfile  -F $btn_name=$btn_value http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi