Java实现爬取网页数据

Java 目录：https://blog.youkuaiyun.com/dkbnull/article/details/87932486


最近在学习数据可视化，想分析下近年来各城市温度、空气质量等变化情况，需要一些数据，因此从网上爬取一些有用数据进行分析。
思路：先爬取网页源码，然后从源码中使用正则表达式获取所需要的数据。

---

以下可实现获取网页源码，并在控制台上输出。

		String urlStr = ""; // 网址
		try {
			//创建一个url对象来指向要采集信息的网址
			URL url = new URL(urlStr);
			//将读取到的字节转化为字符
			InputStreamReader inStrRead = new InputStreamReader(url.openStream(),"utf-8");
			//读取InputStreamReader转化成的字符
			BufferedReader bufRead = new BufferedReader(inStrRead);	
			//读到的内容不为空
			while (bufRead.readLine() != null) {
				System.out.println(bufRead.readLine());
			}
			bufRead.close();
		} catch (IOException e) {
			e.printStackTrace();
		}

测试一下，这里使

String urlStr = "http://datacenter.mep.gov.cn/report/air_daily/air_dairy.jsp?&lang=";

在控制台输出如下结果。

得到网页源码之后，我们就可以使用正则表达式来获取需要的数据。

我们先对源码进行分析。


这里想要采集的数据是

• 城市
• 时间
• AQI指数
• 空气质量级别

以北京市为例进行分析，我们得到如下正则表达式

	// 城市正则
	private String regularCity = ">[\u4e00-\u9fa5]{2,}市</td>"; 
	// 日期正则
	private String regularDate = ">(([0-9]{3}[1-9]|[0-9]{2}[1-9][0-9]{1}|[0-9]{1}[1-9][0-9]{2}|[1-9][0-9]{3})-(((0[13578]|1[02])-(0[1-9]|[12][0-9]|3[01]))|((0[469]|11)-(0[1-9]|[12][0-9]|30))|(02-(0[1-9]|[1][0-9]|2[0-8]))))</td>";
	// AQI指数正则
	private String regularAQI = ">[0-9]{2,}</td>"; 
	// 空气质量级别正则
	private String regularQuality = ">[\u4e00-\u9fa5]</td>"; 

我们先定义一个方法，使用我们定义的正则表达式和得到的网页源码来过滤数据。

	/*
	 * 从网页源代码中过滤数据
	 * @param regular 正则
	 * 
	 * @param code 源代码
	 */
	public String DataAcqu(String regular, String code) {
		 // 编译正则表达式
		Pattern p = Pattern.compile(regular, Pattern.CASE_INSENSITIVE);
		Matcher m = p.matcher(code);
		
		if (m.find()) {
			// 返回采集到的数据
			return m.group();
		} else {
			return "";
		}
	}

然后就可以获取我们所需的数据了

	public DataCode() {
		// 用户输入网页地址
		Scanner scan = new Scanner(System.in); 
		// 存储用户输入的网页地址
		String urlStr = scan.nextLine(); 

		try {
			//创建一个url对象来指向要采集信息的网址
			URL url = new URL(urlStr); 
			//将读取到的字节转化为字符
			InputStreamReader inStrRead = new InputStreamReader(url.openStream(),
					"utf-8"); 
			//读取InputStreamReader转化成的字符
			BufferedReader bufRead = new BufferedReader(inStrRead);
			String readStr = "";
			// 创建一个DataAcqu类的对象（前面自己定义的用于采集数据的类）
			DataAcqu dataAcq = new DataAcqu();

			int i = 0; // 记录采集到的数据数量
			// 如果读到的数据不为空
			while ((readStr = bufRead .readLine()) != null) {
				// 采集城市数据
				String cityStr = dataAcq.DataAcqu(regularCity, readStr);
				// 如果采集到符合条件的数据，打印出来
				if (!cityStr.equals("")) {
				 // 将采集到的数据前后多余部分去掉（前面正则表达式为了准确取到相应的值，加入了">"和"</td>"）
					cityStr = cityStr.substring(1, cityStr.indexOf("</td>"));
					System.out.println("城市:" + cityStr);
				}

				// 采集日期数据
				String dateStr = dataAcq.DataAcqu(regularDate, readStr);
				// 如果采集到符合条件的数据，打印出来
				if (!dateStr.equals("")) {
					dateStr = dateStr.substring(1, dateStr.indexOf("</td>"));
					System.out.println("日期:" + dateStr);
				}

				// 采集AQI指数数据
				String AQIStr = dataAcq.DataAcqu(regularAQI, readStr);
				// 如果采集到符合条件的数据，打印出来
				if (!AQIStr.equals("")) {
					AQIStr = AQIStr.substring(1, AQIStr.indexOf("</td>"));
					System.out.println("AQI指数:" + AQIStr);
				}

				// 采集空气质量级别数据
				String qualityStr = dataAcq.DataAcqu(regularQuality, readStr);
				// 如果采集到符合条件的数据，打印出来
				if (!qualityStr.equals("")) {
					qualityStr = qualityStr.substring(1,
							qualityStr.indexOf("</td>"));
					System.out.println("空气质量级别:" + qualityStr);
					System.out.println();
					i++;
				}
			}
			br.close(); // 读取完成后关闭读取器
			System.out.println("采集完成，共采集到数据：" + i);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

运行后，控制台输出如下信息

如果想要将输出结果输出的文件中，只需在代码中添加类似如下代码

// 将数据输出到文件
PrintStream ps = new PrintStream("E:\\Java\\DataAcquisition\\data");
//将输出位置切换到文件
System.setOut(ps);

这样，我们就爬取到我们所需要的数据了。