爬虫Jsoup

简介

Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

导入jar

下载地址： https://pan.baidu.com/s/1vKS3WmcvgS5Ul9DUbLIA7Q 提取码：cpuf

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.8.3</version>
</dependency>

简单示例

/**
 * 
 * 抓取博客链接
 * 
 * @author vander
 * @date 2018年12月25日
 */
public class JsoupTest {
	
	private String Agent = "Mozilla/5.0 (Windows NT 6.1;WOW64; rv:42.0) Gecko/20100101 Firefox/42.0";

	@Test
	public void testPLXC() throws Exception {
		String startPage = "https://blog.youkuaiyun.com/qq_15764943/article/list/1";
		Document document = Jsoup.connect(startPage).userAgent(Agent).get();
		Elements select = document.getElementsByClass("article-item-box");
		for (Element element : select) {
			Elements a = element.getElementsByTag("h4").get(0).getElementsByTag("a");
			String url = a.get(0).text();
			System.out.println("博客名称:" + url);
			System.out.println("博客链接:" + a.attr("href"));
		}
	}

}