qq_43750656的博客

使用HttpClient封装的Get和Post请求，并可以将结果转为JSON对象返回 导入HttpClient的依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version

WebMagic概述 WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。 特性： 简单的API，可快速上手 模块化的结构，可轻松扩展 提供多线程和分布式支持 执行流示意图 ...

一、Jsoup概述 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 主要功能： 1. 从一个URL，文件或字符串中解析HTML； 2. 使用DOM或CSS选择器来查找、取出数据； 3. 可操作HTML元素、属性、文本； 二、jsoup爬取图片 以 https://www.hellorf.com/image/search 网站为例，根据关键词爬取相关的图片。 项