JAVA爬虫之HttpClient入门演示

最新推荐文章于 2021-07-11 18:59:02 发布
最新推荐文章于 2021-07-11 18:59:02 发布
阅读量344 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Java 爬虫 HttpClient 文章标签： Java 爬虫 HttpClient
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iMUST_Clown/article/details/98256294
这篇博客介绍了如何使用HttpClient进行网页爬取和图片下载，包括设置User-Agent解决访问拦截问题，以及超时控制。作者强调了HttpClient在HTTP协议支持上的高效性和灵活性，并鼓励读者探索更多高级用法如多线程和定时任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HttpClient分享

HttpClient 是Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。

1. 初识HttpClient 使用HttpClient爬取某网站

前置知识

  • Javaj基础
  • 网络知识基础

代码如下图:

	@Test
	public  void helloHttpClient() throws Exception {
		CloseableHttpClient httpClient=HttpClients.createDefault();
		String uri="https://www.tuicool.com/";
		HttpGet httpGet=new HttpGet(uri);
		CloseableHttpResponse response = httpClient.execute(httpGet);
		HttpEntity entity = response.getEntity();
		String entityStr = EntityUtils.toString(entity, DEFAULT_CHARASET);
		logger.info(entityStr);
		response.close();
		httpClient.close();
	}
爬取网页被拦截

被拦截.png

为什么呢？浏览器能正常访问

浏览器正常访问.png
浏览器正常访问关键.png

看到了请求头部分的User-Agent信息于是模仿浏览器
@Test
	/**
	 * 模拟浏览器访问
	 * 在HttpGet例设置请求头内容，通过kv的方式赋予浏览器的标示
	 * @throws Exception
	 */
	public  void analogBrowser() throws Exception {
		CloseableHttpClient httpClient=HttpClients.createDefault();
		String uri="https://www.tuicool.com/";
		HttpGet httpGet=new HttpGet(uri);
//		在HttpGet例设置请求头内容，通过kv的方式赋予浏览器的标示,当然也可以赋值为Android、iOS等客户端
		httpGet.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36");
		CloseableHttpResponse response = httpClient.execute(httpGet);
		HttpEntity entity = response.getEntity();
		logger.info("返回响应状态编码为[ {} ]",response.getStatusLine().getStatusCode());
		logger.info("返回内容编码类型为[ {} ]",entity.getContentType().getValue());
		String entityStr = EntityUtils.toString(entity, DEFAULT_CHARASET);
		logger.info(entityStr);
		response.close();
		httpClient.close();
	}
模仿浏览器后允许访问

模仿浏览器后允许访问.png

接下来我们搞点事情，为了以后从某站下载某些不可描述的资料做准备，下载一张图片
@Test
	/**
	 * 下载图片
	 * @throws Exception
	 */
	public  void dowloadPicture() throws Exception {
		CloseableHttpClient httpClient=HttpClients.createDefault();
		String uri="https://aimg2.tuicool.com/YnmA3y3.jpg!index";
		HttpGet httpGet=new HttpGet(uri);
//		在HttpGet例设置请求头内容，通过kv的方式赋予浏览器的标示,当然也可以赋值为Android、iOS等客户端
		httpGet.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36");
		CloseableHttpResponse response = httpClient.execute(httpGet);
		HttpEntity entity = response.getEntity();
		if(null!=entity) {
			logger.info("返回响应状态编码为[ {} ]",response.getStatusLine().getStatusCode());
			logger.info("返回内容编码类型为[ {} ]",entity.getContentType().getValue());
//			通过流的方式把图片
			InputStream inputStream = entity.getContent();
			FileUtils.copyToFile(inputStream, new File("/home/left/aaa.jpg"));
		}
		response.close();
		httpClient.close();
	}
控制台显示

下载图片控制台显示.png

图片下载成功

下载图片1.png

使用代理
	@Test
	/**
	 * 使用代理IP
	 * @throws Exception
	 */
	public  void helloProxyip() throws Exception {
		CloseableHttpClient httpClient=HttpClients.createDefault();
		String uri="http://www.i2finance.net/";
		HttpGet httpGet=new HttpGet(uri);
//		在HttpGet例设置请求头内容，通过kv的方式赋予浏览器的标示,当然也可以赋值为Android、iOS等客户端
		httpGet.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36");
		HttpHost proxy=new HttpHost("103.235.199.93", 49176);
		RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
		//		设置代理
		httpGet.setConfig(config);
		CloseableHttpResponse response = httpClient.execute(httpGet);
		HttpEntity entity = response.getEntity();
		if(null!=entity) {
			logger.info("此次为代理访问，代理信息为[{}]",httpGet.getConfig().getProxy());
			logger.info("返回响应状态编码为[ {} ]",response.getStatusLine().getStatusCode());
			logger.info("返回内容编码类型为[ {} ]",entity.getContentType().getValue());
		}
		response.close();
		httpClient.close();
	}

设置代理访问.png

关于超时，可以通过设置超时时间（单位毫秒）来判断是否该结束当前进行，避免空耗
public static void main(String[] args) throws Exception {
		CloseableHttpClient httpClient=HttpClients.createDefault();
		String uri="http://www.i2finance.net/";
		HttpGet httpGet=new HttpGet(uri);
//		在HttpGet例设置请求头内容，通过kv的方式赋予浏览器的标示,当然也可以赋值为Android、iOS等客户端
		httpGet.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36");
		RequestConfig config = RequestConfig.custom()
				.setConnectionRequestTimeout(100)
				.setSocketTimeout(10)
				.build();
		//		设置代理
		httpGet.setConfig(config);
		CloseableHttpResponse response = httpClient.execute(httpGet);
		HttpEntity entity = response.getEntity();
		if(null!=entity) {
			logger.info("此次为代理访问，代理信息为[{}]",httpGet.getConfig().getProxy());
			logger.info("返回响应状态编码为[ {} ]",response.getStatusLine().getStatusCode());
			logger.info("返回内容编码类型为[ {} ]",entity.getContentType().getValue());
		}
		response.close();
		httpClient.close();
	}
未超时

未超时.png

超时

超时.png

读超时.png

鄙人入行时短，才疏学浅，感谢大家花费时间听我听我叨叨HttpClient入门这点知识，较为浅显，更多的小技巧，如配合多线程和定时任务，有待挖掘。还希望各位同事多多指点，共同进步。
httpclient使用详解（爬虫）
小江专栏
10-29 7364
一、简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。 下载地址: http://h
HttpClient_入门案例
qq_44509920的博客
08-12 482
文章目录一、HttpClient1.1、 前台系统访问后台接口的方式1.2、 什么是HttpClient1.3、 HttpClient入门案例1.3.1、 发起Get请求1.3.2、 带参数的Get请求1.3.4、 带参数POST请求 一、HttpClient 1.1、 前台系统访问后台接口的方式 两个系统间如何互相访问？两个tomcat上的项目如何互相访问 采用HttpClient实现跨系统的接口调用。 1.2、 什么是HttpClient 官网：http://hc.apache.org/index.
Java爬虫 -- HttpClient的使用说明
うさぎの喫茶店
05-03 239
在第一个爬虫的基础上继续（主要是配置maven和日志） GET请求（无参数） 新建HttpGetTest类 第一个爬虫中写的就是无参数的GET请求方法 不同的是第一个爬虫里处理异常是直接抛出，这里用了try…catch… 同时还增加了释放资源 public static void main(String[] args) { CloseableHttpClient httpClient = Htt...
HttpClient,DefaultHttpClient使用详解
Wikey的技术成长之路
01-10 1万+
HttpClient:是一个接口,DefaultHttpClient实现这个接口的子类首先需要先创建一个DefaultHttpClient的实例
网络爬虫小白教程 (HttpClient)
qq_22075913的博客
07-11 695
1.学习计划 入门程序 网络爬虫介绍 HttpClient抓取数据 Jsoup解析数据 爬虫案例 2.网络爬虫 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本 2.1 爬虫入门程序 2.1.1 环境准备 JDK1.8 IntelliJ IDEA IDEA自带的Maven 2.1.2 环境准备 创建Maven工程itcast-crawler-first并给pom.xml加入依赖 <dependencies> <!--.
爬虫的HttpClient和解析的Jsoup
03-13
httpclient.jar、org.apache.commons.lang-2.6.jar、commons-logging-1.2.jar、commons-codec-1.12.jar； jsoup-1.11.3.jar、jsoup-1.11.3-sources.jar、jsoup-1.11.3-javadoc.jar；
java爬虫抓取网页数据教程.pdf
08-11
本文是一份关于使用Java语言进行网页数据抓取的教程，主要介绍了使用Apache HttpClient这个库来完成网络请求和数据获取的...对于想要深入了解或实践Java爬虫开发的读者来说，这份教程是非常有价值的入门和参考材料。
Java开发：动手构建网络爬虫入门指南
4. **实际示例**：文中可能包含一个使用Java和httpclient库的简单示例，演示如何发送GET请求并获取响应。这样的示例有助于初学者快速理解和实践网络爬虫的编写。 5. **进阶话题**：随着爬虫技术的深入，会涉及到...
Java爬虫技术详解：搜索引擎与信息抓取教程
根据以上知识点，可以总结出，"java爬虫.zip" 文件可能是关于Java网络爬虫的教程或示例程序集合，涵盖了从基础的爬虫概念到复杂搜索引擎的实现，同时也可能包含定时任务的执行以定期更新数据信息。文件中提及的技术...
Java爬虫实现与搜索引擎大揭秘
Java爬虫是使用Java语言编写的网络爬虫程序。Java由于其良好的跨平台性、丰富的库支持以及强大的社区生态系统，成为开发爬虫程序的常用语言。Java爬虫开发涉及以下几个关键步骤： 1. **初始化项目**：创建Java项目...
commons-beanutils的小例子
键圣的博客
05-31 535
注意BeanUtils的属性赋值是通过setter方法，因此尽量使用小写字母开头的属性名字。 public class Student{ private int flowID;//流水号 private int type;//四六级 private String iDCard;//身份证号 private String examCard;//准考证
网络爬虫--防止爬虫被屏蔽的集中方式的总结
热门推荐
after_you的博客
03-23 1万+
爬虫的目的就是大规模地、长时间地获取数据，跟我们正常浏览器获取数据相比，虽然机理相差不大，但总是一个IP去爬网站，大规模集中对服务器访问，时间一长就有可能被拒绝。关于爬虫长时间爬取数据，可能会要求验证码，即便是多个账号轮流爬取仍然会出现要求输入验证码的情况。 技巧一：设置下载等待时间/下载频率 大规模集中访问对服务器的影响较大，爬虫可以短时间增大服务器负载。这里需要注意的是：设定下载等待时间的
那些你不知道的爬虫反爬虫套路
imgxr的博客
06-02 1万+
爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫理念或...
BeanUtils包的使用
轻锋的专栏
02-23 1070
BeanUtils工具包是由Apache公司所开发，主要是方便程序员对Bean类能够进行简便的操作。 在使用BeanUtils工具包之前我们需要的Jar包有以下几种： (1)   BeanUtils相关包 commons-beanutils-1.8.3.jar commons-beanutils-1.8.3-javadoc.jar commons-beanutils-1.8.3-ja
Java--Apache里面的BeanUtils组件使用
鱼非子
10-11 8824
BeanUtils BeanUtils是Apache commens组件里面的成员，由Apache提供的一套开源api，用于简化对javaBean的操作，能够对基本类型自动转换。 JavaBean BeanUtils组件是用于简化javaBean的操作，那么什么是javaBean呢？简单来说，javaBean实质就是java类，只不过是遵循了某种规范的java类。 javaBean的特点：...
commons-beanutils的使用
weixin_34161029的博客
06-11 163
commons-beanutils是通过内省来完成的。 需要两个包： commons-beanutils-1.8.3.jar commons-logging-1.1.1.jar JavaBean类： package cn.zy.study; /** * 提供get和set方法 * 并有一个无参的构造方法 * @author zy * */ public...
HttpClient入门教程：Java爬虫实现
"HttpClient入门教程，李腾飞学习笔记1.0版，涵盖了HttpClient的基本使用，包括HTTPURL处理的API，HttpClient获取网页内容的方法，如GET请求，响应编码，代理设置，重定向处理，以及Cookie管理。" HttpClient是...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值