wujing1_1的博客

项目源代码 https://gitee.com/fakerlove/jsoup 文章目录3. Jsoup 讲解3.1 解析Url引入依赖测试3.2 解析字符串3.3 解析文件3.4 使用dom 方式解析 3. Jsoup 讲解 3.1 解析Url 引入依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://

项目源代码 https://gitee.com/fakerlove/jsoup 文章目录2. http-client 讲解2.1 get 请求2.2 get带请求工具类发送请求2.3 Post 请求2.4 Post 带参数2.5 连接池2.6 参数 2. http-client 讲解 2.1 get 请求 请求的网址 https://www.baidu.com java 代码 package com.ak; import org.apache.http.client.methods.CloseableH

1.1 jsoup 概念 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2 WebMagic 概念 完全模块化的设计，强大的可扩展性。 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。 提供丰富的抽取页面API。 无配置，但是可通过POJO+注解形式实现一个爬虫。 支持多线程。 支持分布式。 支持爬取js动态渲染的页面。 无框架依