突破防抓取限制httpclient配合htmlparser抓取网站

最新推荐文章于 2017-06-07 16:47:46 发布

hulefei29

最新推荐文章于 2017-06-07 16:47:46 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： JAVA JAVA 文章标签：浏览器 server html url

本文链接：https://blog.youkuaiyun.com/hulefei29/article/details/5309777

JAVA 同时被 2 个专栏收录

59 篇文章

订阅专栏

JAVA

46 篇文章

订阅专栏

本文介绍了一种针对特定网站抓取数据的方法。面对dianping.com的抓取挑战，通过更改User-Agent绕过了网站的访问限制，成功获取所需信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前些天在csdn上看到有人说dianping.com上的东西没法抓取，我就用htmlparser试了试，果然不行。看返回结果
Server returned HTTP response code: 500 for URL: http://www.dianping.com/shop/2212912
不能使用:然后想到换httpclient来试试:

HttpClient hc=new HttpClient(); 
GetMethod gm=new GetMethod("http://www.dianping.com/shop/1968937"); 
hc.executeMethod(gm); 
System.out.print(gm.getResponseBodyAsString());

大家可以把他复制到html看看效果，主要是提示我的浏览器错误:使用httpclient默认为jakarta commons-httpclient/3.0
我就换了user-agent试试
在上面的代码中加入
hc.getParams().setParameter(HttpMethodParams.USER_AGENT,"Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) Gecko/20090803 Fedora/3.5.2-2.fc11 Firefox/3.5.2");//设置信息 

然后再提交就行了。。这个网站是通过判断user-agent来实现是不是正常的访问.