Jsoup 伪装请求头（转）

最新推荐文章于 2024-02-01 15:32:20 发布

最新推荐文章于 2024-02-01 15:32:20 发布 · 1.8k 阅读

文章标签：

#Jsoup

Jsoup 专栏收录该内容

14 篇文章

订阅专栏

本文展示如何使用Java中的Jsoup库进行网页抓取。通过设置请求头信息来模拟浏览器行为，成功获取指定网页的内容。代码中详细展示了连接网站、设置自定义请求头并获取页面HTML的过程。

public static void main(String[] args) throws MalformedURLException, IOException {
//		Document parse = Jsoup.parse(new URL("http://info.bet007.com/cn/team/Summary.aspx?TeamID=35"), 10000);
//		Document parse = Jsoup.parse(new URL("http://www.baidu.com"), 10000);
		Connection connect = Jsoup.connect("http://info.bet007.com/cn/team/Summary.aspx?TeamID=35");
		Map<String, String> header = new HashMap<String, String>();
		header.put("Host", "http://info.bet007.com");
		header.put("User-Agent", "	Mozilla/5.0 (Windows NT 6.1; WOW64; rv:5.0) Gecko/20100101 Firefox/5.0");
		header.put("Accept", "	text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
		header.put("Accept-Language", "zh-cn,zh;q=0.5");
		header.put("Accept-Charset", "	GB2312,utf-8;q=0.7,*;q=0.7");
		header.put("Connection", "keep-alive");
		Connection data = connect.data(header);
		Document document = data.get();
		
		System.out.println(document.html());
	}

Jsoup 伪装请求头