curl命令详解

cURL下载链接：https://curl.haxx.se/download.html

cURL Windows：https://bintray.com/vszakats/generic/curl/

 

常见参数

-A/--user-agent <string>             设置用户代理发送给服务器

-b/--cookie <name=string/file>       cookie字符串或文件读取位置

-c/--cookie-jar <file>               操作结束后把cookie写入到这个文件中

-C/--continue-at <offset>            断点续转

-d/                                  发送 POST 请求

-D/--dump-header <file>              把header信息写入到该文件中

-e/--referer                         来源网址

-f/--fail                            连接失败时不显示http错误

-H/                                  自定义header

-I/                                  只想要显示 HTTP 头，而不显示文件内容

-i/                                  同时显示 HTTP 头和文件内容

-o/--output                          把输出写到该文件中

-O/--remote-name                     把输出写到该文件中，保留远程文件的文件名

-r/--range <range>                   检索来自HTTP/1.1或FTP服务器字节范围

-s/--silent                          静音模式。不输出任何东西

-T/--upload-file <file>              上传文件

-u/--user <user[:password]>          设置服务器的用户和密码

-w/--write-out [format]              什么输出完成后

-x/--proxy <host[:port]>             在给定的端口上使用HTTP代理

-#/--progress-bar                    进度条显示当前的传送状态

 

使用方法

 

访问HTML

curl http://www.linux.com

执行后，www.linux.com 的html就会显示在屏幕上了

Ps：由于安装linux的时候很多时候是没有安装桌面的，也意味着没有浏览器，因此这个方法也经常用于测试一台服务器是否可以到达一个网站

 

cookie

curl -c cookie1.txt  http://www.linux.com

保存http的response里面的cookie信息到cookie1.txt（c小写）

curl -D cookie2.txt http://www.linux.com

保存http的response里面的header信息到cookie2.txt

（ -c(小写)产生的cookie和-D里面的cookie是不一样的。 ）

 

读取cookie

后面会讲到使用 -H 来发送 Cookie 的方法，这种方式是直接将 Cookie 字符串写在命令中。如果使用 -b 来自定义 Cookie，命令如下：

curl -b “JSESSIONID=D0112A5063D938586B659EF8F939BE24” http://www.example.com

如果要从文件中读取 Cookie，-H 就无能为力了，此时可以使用 -b 来达到这一目的：

curl -b “cookie-example” http://www.example.com

即 -b 后面既可以是 Cookie 字符串，也可以是保存了 Cookie 的文件名

 

伪造referer

很多服务器会检查http访问的referer从而来控制访问。 比如：你是先访问首页，然后再访问首页中的邮箱页面，这里访问邮箱的referer地址就是访问首页成功后的页面地址，如果服务器发现对邮箱页面访问的referer地址不是首页的地址，就断定那是个盗连了

-e可以让我们设定referer

curl -e "www.linux.com" http://mail.linux.com

会让服务器其以为你是从www.linux.com点击某个链接过来的

 

下载文件

-o（小写）

curl -o dodo1.jpg http:www.linux.com/dodo1.JPG 

-O（大写)

curl -O http://www.linux.com/dodo1.JPG   

把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下来

curl -O http://www.linux.com/dodo[1-5].JPG

分块下载，最后可查看dodo1.JPG的内容

curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG

curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG

curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG

cat dodo1_part* > dodo1.JPG

通过ftp下载文件

curl -O -u 用户名:密码 ftp://www.linux.com/dodo1.JPG

curl -O ftp://用户名:密码@www.linux.com/dodo1.JPG

断点续传 ，在windows中，我们可以使用迅雷这样的软件进行断点续传。curl可以通过内置option:-C同样可以达到相同的效果，如果在下载dodo1.JPG的过程中突然掉线了，可以使用以下的方式续传

curl -C -O http://www.linux.com/dodo1.JPG

 

上传文件

用-T来实现

curl -T dodo1.JPG -u 用户名:密码 ftp://www.linux.com/img/

 

显示抓取错误

curl -f http://www.linux.com/error

 

GET 

强制使用 GET 方式

发送数据时，可以使用 GET 方式，例如：

curl -d “somedata” -X GET http://www.example.com/api

或者使用 -G 选项：

curl -d “somedata” -G http://www.example.com/api

从文件中读取 data

curl -d “@data.txt” http://www.example.com/login

很多网站都是通过监视你的cookie信息来判断你是否按规矩访问他们的网站的，因此我们需要使用保存的cookie信息

curl -b "cookie.txt" http://www.linux.com

从这个cookie.txt文件中读取cookie

 

POST

假设有一个登录页面 www.example.com/login，只需要提交用户名和密码便可登录。我们可以使用 cURL 来完成这一 POST 请求，-d 用于指定发送的数据，-X 用于指定发送数据的方式：

curl -d “userName=tom&passwd=123456” -X POST http://www.example.com/login

在使用 -d 的情况下，如果省略 -X，则默认为 POST 方式：

curl -d “userName=tom&passwd=123456” http://www.example.com/login

curl -b "cookie.txt" -H "Content-Type:application/json" -H "CSRF:abc" -d "{..}" http://www.example.com

-H param: 设置请求头

-H "Content-Type:application/json": 设置请求头Content-Type，以json格式发送

-H "CSRF:abc""： 设置请求头，发送CSRF这个参数

-d "{}"：-d后面跟着的为需要发送的数据

json格式的话，如果在{}中用的是双引号"，需要转义为\"

验证自己接口的时候，发现这样在windows下发送post请求，从文件读取cookie的时候，会验证失败，需要自己添加-H "cookie='12312'才生效

 

当我们需要传递特定的 header 的时候，可以仿照以下命令来写：

curl -H “Referer: www.example.com” -H “User-Agent: Custom-User-Agent” http://www.baidu.com

可以看到，当我们使用 -H 来自定义 User-Agent 时，需要使用 “User-Agent: xxx” 的格式。

我们能够直接在 header 中传递 Cookie，格式与上面的例子一样：

curl -H “Cookie: JSESSIONID=D0112A5063D938586B659EF8F939BE24” http://www.example.com

带 Cookie 登录

如果我们再次访问登录页面 www.example.com/login，仍然会变成未登录的状态。我们可以用之前提到的方法保存 Cookie，在每次访问网站时都带上该 Cookie 以保持登录状态。

curl -c “cookie-login” -d “userName=tom&passwd=123456” http://www.example.com/login

再次访问该网站时，使用以下命令：

curl -b “cookie-login” http://www.example.com/login

这样，就能保持访问的是登录后的页面了。

 

上传文件

curl -b "cookie.txt" -F "filename=@file" url

-F "key=value"

-F ""：将会以multipart/form-data发送POST数据；如果是发送文件的话，需要在参数前面加@（ key=@value ）

 

模仿浏览器

-A可以让我们指定浏览器去访问网站。有些网站需要使用特定的浏览器去访问他们，有些还需要使用某些特定的版本

curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com

这样服务器端会认为是使用IE8.0去访问的