java-jsoup爬虫

安装jsoup

导入jar包不需要dll

jsoup解析

jsoup用于解析标签语言获取有用的信息,如html(网页)

jsoup通过Jsoup.parse(s)方法来解析字符串s中的标签语言,并返回解析后的文档对象Document

jsoup通过Jsoup.connect(url).get()方法来解析网址url对应的源代码,并返回解析后的文档对象Document

jsoup方法

Document对象通过select(String s)方法获取所有符合条件的标签,并返回标签容器对象Elements

Elements对象通过get(int n)方法获取第n个标签,并返回标签对象Element

Element对象的方法如下:

public String html() 返回标签的内容

public String attr(String s) 返回标签s属性的属性值

public Element parent() 返回标签的父标签

public Elements children() 返回标签的所有子标签

jsoup选择

在html语言中,title标签为网页的标题

package jsoup;

import org.jsoup.nodes.Element;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class Test1 {

	public static void main(String[] args) throws Exception {
		Document d = Jsoup.connect("https://hao.360.com/").get();//获取360主页的源代码
		Elements e = d.select("title");//获取360主页的标题
		Element l = e.get(0);//因为标题只有一个,所以获取第一个
		System.out.println(l.html());//输出标题的内容
	}
	
}

控制台输出360导航_一个主页，整个世界

在html语言中,a标签为网页的链接,href属性为链接的地址

package jsoup;

import org.jsoup.nodes.Element;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class Test2 {

	public static void main(String[] args) throws Exception {
		Document d = Jsoup.connect("https://hao.360.com/").get();//获取360主页的源代码
		Elements e = d.select("a");//获取360主页的标题所有链接
		for (Element l : e) {
			System.out.println(l.attr("href"));//输出链接的地址
			//System.out.println(l.attr("abs:href"));//输出链接的绝对路径
		}
	}
	
}

控制台输出360主页的所有链接

select方法扩展

select方法参数还有很多:

[a] 获取含有a属性名的标签

[a=b] 获取a属性等于b的标签

c[a] 获取标签c中含有a属性名的标签

c[a=b] 获取标签c中a属性等于b的标签