java爬虫

一.什么是爬虫：

用程序代替手动输入url，获取信息，进行数据分析的过程。

二.爬虫步骤

1.httpClient获取html的字符串和jsoup解析

1.1. 使用httpClient获取html字符串的流程

创建HttpClient对象。

创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象。

如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数。

调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse

调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。

释放连接。无论执行方法是否成功，都必须释放连接。

CloseableHttpClient httpClient = HttpClient.CreateDefault();

HttpGet httpGet = new HttpGet("url");

HttpResponse httpResponse = httpClient.execute(httpClient);

String html = EntityUtils.toString(httpResponse.getEntity(),"utf-8");

1.2.使用Jsoup解析

Document document = Jsoup.parse(html);

这样就获得了文档对象。利用文档对象可以获得很多节点数据信息。