jsoup查看iteye的时候被拦截了

最新推荐文章于 2023-08-16 17:10:36 发布

原创最新推荐文章于 2023-08-16 17:10:36 发布 · 243 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#jsoup #iteye #爬虫

java 同时被 2 个专栏收录

14 篇文章

订阅专栏

jsoup

2 篇文章

订阅专栏

本文介绍如何使用Jsoup进行简单的网页抓取与解析操作。通过一个示例程序展示了如何连接到指定URL，设置请求参数、User-Agent及Cookie，并获取页面元素进行数据提取。

jsoup的使用方法可以在他的官网上找到

使用比较简单，像是jquery的操作

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class MyJsoup {

	private static String URL_Path = "http://sauzny.iteye.com/";
	
	public static void main(String[] args) throws IOException {
		Document doc = Jsoup.connect(URL_Path)
				  .data("query", "Java")   // 请求参数
				  .userAgent("I ’ m jsoup") // 设置 User-Agent 
				  .cookie("auth", "token") // 设置 cookie 
				  .timeout(3000)           // 设置连接超时时间
				  .get();                 // 使用 GET 方法访问 URL ;
		Element div = doc.getElementById("blog_actions");
		System.out.println(div.getElementsByTag("ul").get(0).getElementsByTag("li").get(0).text());
	}

}