java 抓取网页数据

最新推荐文章于 2025-05-23 15:47:24 发布

小鸡捉老鹰

最新推荐文章于 2025-05-23 15:47:24 发布

阅读量1k

点赞数

本文介绍了一个简单的Java程序，该程序使用HttpURLConnection从指定URL（例如百度搜索页面）抓取HTML内容。通过设置合适的User-Agent请求头来模拟浏览器行为，并采用Scanner读取返回的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package test;

import java.net.HttpURLConnection;
import java.net.URL;
import java.util.Scanner;

public class WebCapturer从网页抓取数据 {
	public static void main(String[] args) throws Exception {

		URL url = new URL("http://www.baidu.com/s?wd=360");

		HttpURLConnection conn = (HttpURLConnection) url.openConnection();

		conn.setRequestProperty("User-Agent", // 很重要

				"Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) "
				+ " Gecko/20090803 Fedora/3.5.2-2.fc11 Firefox/3.5.2");

		conn.setRequestMethod("GET");

		Scanner scanner = new Scanner(conn.getInputStream());

		while (scanner.hasNextLine()) {

			System.out.println(scanner.nextLine());

		}
	}
}

//抓取页面的html