httpclient header useragent mozilla

最新推荐文章于 2022-12-13 17:19:07 发布

原创最新推荐文章于 2022-12-13 17:19:07 发布 · 4.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#header #mozilla #windows #.net #string #浏览器

HttpClient 同时被 2 个专栏收录

16 篇文章

订阅专栏

HtmlParser

16 篇文章

订阅专栏

本文介绍如何使用HttpClient模拟浏览器发送请求，通过设置User-Agent头部信息来避免被网站识别为非浏览器请求，实现正常抓取网页内容。

有的网站会先判别用户的请求是否是来自浏览器，如不是，则返回不正确的文本，所以用httpclient抓取信息时在头部加入如下信息：
header.put("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 1.7; .NET CLR 1.1.4322; CIBA; .NET CLR 2.0.50727)");

在默认情况下，HttpClient的Request的Head中
User-Agent的值是Jakarta Commons-HttpClient 3.0RC1，如果需要改变它（例如，变为Mozilla/4.0），必须在调用之前运行如下语句：
System.getProperties().setProperty("httpclient.useragent", "Mozilla/4.0");

//设置http头
List <Header> headers = new ArrayList <Header>();
headers.add(new Header("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"));
httpClient.getHostConfiguration().getParams().setParameter("http.default-headers", headers);

GetMethod method = new GetMethod("http://www.baidu.com");
method.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler(3, false));
try {
int statusCode = httpClient.executeMethod(method);

if (statusCode != HttpStatus.SC_OK) {
System.out.println("Method failed code="+statusCode+": " + method.getStatusLine());

} else {
System.out.println(new String(method.getResponseBody(), "gb2312"));
}
} finally {
method.releaseConnection();
}
}
}