JAVA获取淮河实时的水质数据

最新推荐文章于 2024-10-11 10:50:49 发布

原创最新推荐文章于 2024-10-11 10:50:49 发布 · 1.5k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#java #json

Java 专栏收录该内容

15 篇文章

订阅专栏

本博介绍如何从中国环境监测总站免费获取实时水质数据，解决毕业设计中淮河水量水质监测系统的数据来源问题。通过分析网站请求路径及参数，利用Java代码实现动态数据抓取。

本人的毕业设计是制作一个淮河水量水质监测系统，数据从哪来，这是一个需要考虑的问题。起初，我尝试过使用一些网站的api接口，后来因为各种问题（价格十分昂贵、数据没有及时更新）不得不放弃。
百度了好久，才发现“中国环境监测总站”上面有实时的水质数据。但问题又来了，查看网页源码时，发现源码上面没有具体的水质数据，也就是这些数据是通过ajax的方式动态加载的，想要利用Jsoup爬取这些动态数据，不太现实。
F12打开开发人员工具，发现了一条请求路径和请求的参数。如下图：

直接点击请求路径，奇迹出现了，页面上返回了JSON格式的数据，如下图：

这也就意味着，可以把它当成一个免费的API来使用啦！（某网站的API价格1000起步，数据还贼旧）。
话不多述，直接上JAVA代码：

package json;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.HttpURLConnection;
import java.net.URL;

/**
 * @author laoyingyong
 * @date: 2020-01-17 15:06
 */
public class Demo3
{
    public static void main(String[] args) throws Exception
    {
        //参数字符串，如果拼接在请求链接之后，需要对中文进行 URLEncode   字符集 UTF-8
        String param = "Method=SelectRealData";
        StringBuilder sb = new StringBuilder();
        InputStream is = null;
        BufferedReader br = null;
        PrintWriter out = null;
        try {
            //接口地址
            String url = "http://123.127.175.45:8082/ajax/GwtWaterHandler.ashx";
            URL    uri = new URL(url);
            HttpURLConnection connection = (HttpURLConnection) uri.openConnection();
            connection.setRequestMethod("POST");
            connection.setReadTimeout(5000);
            connection.setConnectTimeout(10000);
            connection.setRequestProperty("accept", "*/*");
            //发送参数
            connection.setDoOutput(true);
            out = new PrintWriter(connection.getOutputStream());
            out.print(param);
            out.flush();
            //接收结果
            is = connection.getInputStream();
            br = new BufferedReader(new InputStreamReader(is, "UTF-8"));
            String line;
            //缓冲逐行读取
            while ( ( line = br.readLine() ) != null )
            {
                sb.append(line);
            }
            String backStr=sb.toString();
            System.out.println(backStr);


        } catch ( Exception e )
        {
            System.out.println(e);
        } finally
        {
            //关闭流
            try
            {
                if(is!=null)
                {
                    is.close();
                }
                if(br!=null)
                {
                    br.close();
                }
                if (out!=null)
                {
                    out.close();
                }
            } catch ( Exception ignored )
            {
                System.out.println(ignored);
            }
        }


    }
}

运行结果如下：

其实，返回的是全国各地监测站的水质数据，但里面已经包含了淮河各个监测站的水质数据。至于淮河到底有哪些监测站，中国环境监测总站上面写有的，可以自己到网站上的相关栏目进行查看。也就是，可以根据测站名称进行筛选。
获取到了JSON数据，就可以利用一些JSON解析工具对这些数据进行解析，比如jackson、fastjson、gson等等。