大数据行业部署实战2：环境大数据统计

已于 2022-11-19 20:51:45 修改
阅读量6k 收藏 83
点赞数 8
分类专栏： # 环境配置与调试 # 实践 # 海量数据处理（hadoop、spark） 文章标签： hadoop 大数据 java
于 2020-12-22 15:43:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wtyuong/article/details/111558788
版权

实验二、环境大数据（必须基于实验一验证通过的环境）

一、实验目的

  1. 学会分析环境数据文件；
  2. 学会编写解析环境数据文件并进行统计的代码；
  3. 学会进行递归MapReduce。

二、实验要求

在服务器上运行从北京2016年1月到6月这半年间的历史天气和空气质量数据文件中分析出的环境统计结果，包含月平均气温、空气质量分布情况等。

三、实验原理

近年来，由于雾霾问题的持续发酵，越来越多的人开始关注城市相关的环境数据，包括空气质量数据、天气数据等等。
如果每小时记录一次城市的天气实况和空气质量实况信息，则每个城市每天都会产生24条环境数据，全国所有2500多个城市如果均如此进行记录，那每天产生的数据量将达到6万多条，每年则会产生2190万条记录，已经可以称得上环境大数据。
对于这些原始监测数据，我们可以根据时间的维度来进行统计，从而得出与该城市相关的日度及月度平均气温、空气质量优良及污染天数等等，从而为研究空气污染物扩散条件提供有力的数据支持。
本实验中选取了北京2016年1月到6月这半年间的每小时天气和空气质量数据（未取到数据的字段填充“N/A”），利用MapReduce来统计月度平均气温和半年内空气质量为优、良、轻度污染、中度污染、重度污染和严重污染的天数。

四、实验步骤

1、 分析数据文件

打开terminal，在家目录下，下载并查看环境数据文件beijing.txt

wget http://i9000.net:8888/sgn/HUP/HadoopDeployPro/beijing.txt

查看前20行数据

head -20 beijing.txt

在这里插入图片描述
图1环境数据文件格式可以看到，我们需要关心的数据有第一列DATE、第二列HOUR、第六列TMP和第七列AQI。

2、 将数据文件上传至HDFS

将家目录下数据beijing.txt上传到HDFS的/input目录上。

hadoop fs -mkdir /input
hadoop fs -put ~/beijing.txt /input

3 、编写月平均气温统计程序

打开eclipse——Window——preferences,选择Hadoop的安装目录如下图，点击apply and close
在这里插入图片描述
在这里插入图片描述
在Eclipse上新建MapReduce项目，命名为TmpStat，在src目录下新建文件 TmpStat.java，并键入如下代码。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;
 
public class TmpStat
{                                                                                 
  public static class StatMapper extends Mapper<Object, Text, Text, IntWritable>
  {
    private IntWritable intValue = new IntWritable();
    private Text dateKey = new Text();
       
    public void map(Object key, Text value, Context context)
          throws IOException, InterruptedException
    {
      String[] items = value.toString().split(",");
                                                                            
      String date = items[0];
      String tmp = items[5];
                                                                           
      if(!"DATE".equals(date) && !"N/A".equals(tmp))
      {//排除第一行说明以及未取到数据的行
        dateKey.set(date.substring(0, 6));
        intValue.set(Integer.parseInt(tmp));
        context.write(dateKey, intValue);
      }
    }
  }
 
  public static class StatReducer extends Reducer<Text, IntWritable, Text, IntWritable>
                                                                                   {
    private IntWritable result = new IntWritable();
    public void reduce(Text key, Iterable<IntWritable> values, Context context)
          throws IOException, InterruptedException
    {
      int tmp_sum = 0;
      int count = 0;
                                                                           
      for(IntWritable val : values)
      {
        tmp_sum += val.get();
        count++;
      }
                                                                           
      int tmp_avg = tmp_sum/count;
      result.set(tmp_avg);
      context.write(key, result);
    }
  }
 
  public static void main(String args[])
        throws IOException, ClassNotFoundException, InterruptedException
  {
      Configuration conf = new Configuration();  
    Job job = Job.getInstance(conf, "MonthlyAvgTmpStat");           
    job.setInputFormatClass(TextInputFormat.class);
    TextInputFormat.setInputPaths(job, args[0]);  
    job.setJarByClass(TmpStat.class);             
    job.setMapperClass(StatMapper.class);           
    job.setMapOutputKeyClass(Text.class);         
    job.setMapOutputValueClass(IntWritable.class);
    job.setPartitionerClass(HashPartitioner.class);
    job.setReducerClass(StatReducer.class);
    job.setNumReduceTasks(Integer.parseInt(args[2]));
    job.setOutputKeyClass(Text.class);              
    job.setOutputValueClass(IntWritable.class);            
    job.setOutputFormatClass(TextOutputFormat.class);
    TextOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);   
                                                                                   }
}

使用Eclipse软件将TmpStat项目导出成Jar文件，指定主类为TmpStat，命名为tmpstat.jar，并保存至家目录下
在这里插入图片描述
在这里插入图片描述

4 、查看月平均气温统计结果

在client上执行tmpstat.jar，指定输出目录为/monthlyavgtmp，reducer数量为1。如图2所示：

cd ~
hadoop jar tmpstat.jar TmpStat /input /monthlyavgtmp 1

在这里插入图片描述
图2 运行tmpstat.jar
查看统计结果。如图3所示：

hadoop fs -ls /monthlyavgtmp
hadoop fs -cat /monthlyavgtmp/part-r-00000

在这里插入图片描述
图3 查看月平均气温统计结果

5、 编写每日空气质量统计程序

在Eclipse上新建MapReduce项目，命名为AqiStatDaily，在src目录下新建文件 AqiStatDaily.java，并键入如下代码。

import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;
 
public class AqiStatDaily
{
  public static class StatMapper extends Mapper<Object, Text, Text, IntWritable>
  {
    private IntWritable intValue = new IntWritable();
    private Text dateKey = new Text();
       
    public void map(Object key, Text value, Context context)
          throws IOException, InterruptedException
    {
      String[] items = value.toString().split(",");
                                                                           
      String date = items[0];
      String aqi = items[6];
                                                                           
      if(!"DATE".equals(date) && !"N/A".equals(aqi))
      {
        dateKey.set(date);
        intValue.set(Integer.parseInt(aqi));
        context.write(dateKey, intValue);
      }
    }
  }
 
  public static class StatReducer extends Reducer<Text, IntWritable, Text, IntWritable>
  {
    private IntWritable result = new IntWritable();
    public void reduce(Text key, Iterable<IntWritable> values, Context context)
            throws IOException, InterruptedException
    {
      int aqi_sum = 0;
      int count = 0;
                                                                           
      for(IntWritable val : values)
      {
        aqi_sum += val.get();
        count++;
      }
                                                                           
      int aqi_avg = aqi_sum/count;
      result.set(aqi_avg);
      context.write(key, result);
    }
  }
 
  public static void main(String args[])
        throws IOException, ClassNotFoundException, InterruptedException
  {
    Configuration conf = new Configuration();     
    Job job = Job.getInstance(conf, "AqiStatDaily");           
    job.setInputFormatClass(TextInputFormat.class);
    TextInputFormat.setInputPaths(job, args[0]);  
    job.setJarByClass(AqiStatDaily.class);             
    job.setMapperClass(StatMapper.class);           
    job.setMapOutputKeyClass(Text.class);         
    job.setMapOutputValueClass(IntWritable.class);
    job.setPartitionerClass(HashPartitioner.class);
    job.setReducerClass(StatReducer.class);
    job.setNumReduceTasks(Integer.parseInt(args[2]));
    job.setOutputKeyClass(Text.class);              
    job.setOutputValueClass(IntWritable.class);            
    job.setOutputFormatClass(TextOutputFormat.class);
    TextOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);   
  }
}

在这里插入图片描述
使用Eclipse软件将AqiStatDaily项目导出成Jar文件，指定主类为AqiStatDaily，命名为aqistatdaily.jar，并保存在家目录下。

6、 查看每日空气质量统计结果

在家目录下执行aqistatdaily.jar，指定输出目录为/aqidaily，reducer数量为3。如图4所示：

cd ~
hadoop jar aqistatdaily.jar AqiStatDaily /input /aqidaily 3

在这里插入图片描述
图4 运行aqistatdaily.jar
查看统计结果文件。如图5所示：

hadoop fs -ls /aqidaily

在这里插入图片描述
图5 查看aqistatdaily.jar运行结果文件
可以看到，结果文件被分成了3个部分，依次查看这3个文件的内容，即可看到每天的空气质量统计结果数据。如图6所示：

hadoop fs -cat /aqidaily/p*

在这里插入图片描述
图6 查看每日空气质量统计结果

7 、将每日空气质量统计文件进行整合

将每日空气质量统计结果保存到aqidaily.txt。

hadoop fs -cat /aqidaily/part-r-00000 > aqidaily.txt
hadoop fs -cat /aqidaily/part-r-00001 >> aqidaily.txt
hadoop fs -cat /aqidaily/part-r-00002 >> aqidaily.txt

在这里插入图片描述

cat aqidaily.txt |wc -l

在HDFS上创建/aqiinput目录，并将aqidaily.txt上传至该目录下

hadoop fs -mkdir /aqiinput
hadoop fs -put aqidaily.txt /aqiinput

8、 编写各空气质量天数统计程序

在Eclipse上新建MapReduce项目，命名为AqiStat，在src目录下新建文件 AqiStat.java，并键入如下代码。

import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;
 
public class AqiStat
{
  public static final String GOOD = "优";
  public static final String MODERATE = "良";
  public static final String LIGHTLY_POLLUTED = "轻度污染";
  public static final String MODERATELY_POLLUTED = "中度污染";
  public static final String HEAVILY_POLLUTED = "重度污染";
  public static final String SEVERELY_POLLUTED = "严重污染";
                                                                                   
  public static class StatMapper extends Mapper<Object, Text, Text, IntWritable>
  {
    private final static IntWritable one = new IntWritable(1);
    private Text cond = new Text();
    // map方法，根据AQI值，将对应空气质量的天数加1
    public void map(Object key, Text value, Context context)
            throws IOException, InterruptedException
    {
      String[] items = value.toString().split("\t");
      int aqi = Integer.parseInt(items[1]);
                                                                       
      if(aqi <= 50)
      {
        // 优
        cond.set(GOOD);
      }
      else if(aqi <= 100)
      {
        // 良
        cond.set(MODERATE);
      }
      else if(aqi <= 150)
      {
        // 轻度污染
        cond.set(LIGHTLY_POLLUTED);
      }
      else if(aqi <= 200)
      {
        // 中度污染
        cond.set(MODERATELY_POLLUTED);
      }
      else if(aqi <= 300)
      {
        // 重度污染
        cond.set(HEAVILY_POLLUTED);
      }
      else
      {
        // 严重污染
        cond.set(SEVERELY_POLLUTED);
      }
                                                                     
      context.write(cond, one);
    }
  }
  // 定义reduce类，对相同的空气质量状况，把它们<K,VList>中VList值全部相加
  public static class StatReducer extends Reducer<Text, IntWritable, Text, IntWritable>
  {
    private IntWritable result = new IntWritable();
    public void reduce(Text key, Iterable<IntWritable> values,Context context)
            throws IOException, InterruptedException
    {
      int sum = 0;
      for (IntWritable val : values)
      {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }
 
  public static void main(String args[])
          throws IOException, ClassNotFoundException, InterruptedException
  {
    Configuration conf = new Configuration();     
    Job job = Job.getInstance(conf, "AqiStat");           
    job.setInputFormatClass(TextInputFormat.class);
    TextInputFormat.setInputPaths(job, args[0]);  
    job.setJarByClass(AqiStat.class);             
    job.setMapperClass(StatMapper.class);
    job.setCombinerClass(StatReducer.class);
    job.setMapOutputKeyClass(Text.class);         
    job.setMapOutputValueClass(IntWritable.class);
    job.setPartitionerClass(HashPartitioner.class);
    job.setReducerClass(StatReducer.class);
    job.setNumReduceTasks(Integer.parseInt(args[2]));
    job.setOutputKeyClass(Text.class);              
    job.setOutputValueClass(IntWritable.class);            
    job.setOutputFormatClass(TextOutputFormat.class);
    TextOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);   
  }
}

使用Eclipse软件将AqiStat项目导出成Jar文件，指定主类为AqiStat，命名为aqistat.jar，并保存至家目录下。

9 、查看各空气质量天数统计结果

在家目录下执行aqistat.jar，指定输出目录为/aqioutput，reducer数量为1。如图7所示：

hadoop jar aqistat.jar AqiStat /aqiinput /aqioutput 1

在这里插入图片描述
图7 运行aqistat.jar
查看统计结果。如图8所示：

hadoop fs -ls /aqioutput
hadoop fs -cat /aqioutput/part-r-00000

在这里插入图片描述
图8 查看各空气质量状况天数统计结果

五、其他

1.复制到虚拟机时不能有中文
2.文件名前面有*时，按Ctrl+S保存，星号就没有了
3.删除无数据的文件。Hadoop dfs -rm -r /monthlyavgtmp

《大数据项目实战》分析及可视化
m0_56525833的博客
03-17 4069
数据分析迁移可视化
大数据数据服务架构设计：最佳实践与案例分析
最新发布
AI天才研究院
04-23 1450
在数据量呈指数级增长（IDC预测2025年全球数据量将达175ZB）、业务需求快速迭代（如实时推荐、智能风控）的背景下，传统“烟囱式”数据处理模式（各业务线独立开发数据接口）已无法满足企业需求。本文聚焦大数据数据服务架构如何构建高并发、低延迟的数据服务接口？如何实现多源异构数据的统一服务化封装？如何平衡数据服务的实时性与成本？如何保障数据服务的安全性与可治理性？第2章：解析数据服务架构的核心概念与分层模型；第3章：拆解关键组件的技术实现（含Python代码示例）；
大数据行业部署实战1：Hadoop伪分布式部署
定期分享我的发现和想法，感谢你的陪伴和支持
12-22 3696
实验一、Hadoop伪分布式部署1.Hadoop 介绍1.1 Hadoop 生态系统1.2 Apache 版本衍化2. Hadoop-2.7.3 伪分布安装2.1 （配置从这开始）软硬件环境说明Hadoop搭建环境：2.2 环境搭建2.2.1 设置hosts文件映射2.2.2 设置操作系统环境2.3 Hadoop环境搭建2.3.1 在/app下创建hadoop目录2.3.2 下载并解压hadoop安装包2.3.3 在hadoop安装目录下创建子目录2.3.4设置环境变量2.3.5 配置hadoop-env.
大数据项目实战（完整的搭建大数据集群环境）
qq_68383591的博客
08-24 1372
安装一台虚拟机主机名为：hadoop01的虚拟机备用VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维大脑的博客-优快云博客。
（十五）大数据实战——hive的安装部署
厉害哥哥的博客
08-08 679
Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。
Python金融大数据风控建模实战：基于机器学习源代码+文档说明
11-09
Python金融大数据风控建模实战：基于机器学习源代码+文档说明，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用...
Hadoop大数据开发实战-PPT.rar
07-12
【Hadoop大数据开发实战-PPT】是一份详细的教学资料，主要涵盖了Hadoop在大数据处理中的应用和开发技术。Hadoop是Apache基金会的一个开源项目，它为海量数据提供了分布式存储和计算的能力，是大数据领域的基石之一。...
大数据平台安装部署实战：Hadoop、Sqoop与Hive
"第16章++大数据平台及组件安装部署.pdf" 在大数据领域，Hadoop是最重要的基础平台之一，主要用于处理和存储海量数据。本章详细介绍了如何进行Hadoop全分布部署，以及与Hadoop相关的两个重要组件——Sqoop和Hive的...
Hadoop大数据开发项目实战数据云盘项目源代码+文档说明（高分项目）
12-12
Hadoop大数据开发项目实战数据云盘项目源代码+文档说明（高分项目），含有代码注释，满分大作业资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末...
大数据试验——配置环境1
CandraLee的博客
08-09 852
大数据试验环境配置
day71~72-大数据之Hadoop部署2(完全分布式部署与ambari实践)
爪蛙毁一生的博客
09-04 539
大数据基础平台实施及运维 一、完全分布式部署介绍 学习目标 能够了解完全分布式部署场景 完全分部式是真正利用多台Linux主机来进行部署Hadoop，对Linux机器集群进行规划，使得Hadoop各个模块分别 部署在不同的多台机器上。 二、NameNode HA+完全分布式部署 学习目标 能够了解HA+完成分布式部署场景 能够对HA+完全分布式部署架构规划 能够对HA+完全分布式部署进行配置 预备知识 1)什么是HA？ HA的意思是High Availability高可用，指当当前工作中
环境数据分析：监测和预测大气污染源
AI天才研究院
12-27 1186
1.背景介绍 环境数据分析是一种利用大数据技术对环境信息进行深入挖掘和分析的方法，其主要目的是为了监测和预测大气污染源，提高环境质量，保护人类和生态系统的健康。随着人类社会的发展，环境污染问题日益严重，大气污染源的监测和预测对于环境保护和人类健康的保障至关重要。 环境数据分析涉及到的领域包括气象数据分析、地球物理数据分析、生态数据分析等，其中气象数据分析是环境数据分析的重要组成部分，它涉及到气...
大数据行业部署实战3：基于Hadoop的Web版的云盘
定期分享我的发现和想法，感谢你的陪伴和支持
12-22 8401
实验三、 基于Hadoop的Web版的云盘（必须基于实验一验证通过的环境）
环境数据分析和可视化
weixin_34411563的博客
11-11 1464
数据介绍 本文基于以下数据进行分析和可视化，山东江苏空气质量数据、全国水质监测数据、全国气象数据、全国风场格点数据、山东污染企业和污染排放数据，希望能够唤醒公众对于公益环保的认识。 作品内容 我主要做了以下几个方面的统计、分析和可视化：空气质量、水质、污染、风、雨。可视化的工作包括使用python和R绘制静态可视化图片，以及使用D3进行交互可视化。 最终成果 用一张图来展示我的作品，如下所示，上半...
黑马程序员-大数据入门到实战-HDFS分布式存储
Python、C++、HTML、Java
07-18 799
1. 为什么需要分布式存储 2. 分布式的基础架构分析 3. HDFS的基础架构 4. HDFS集群环境部署 4.1 VMware虚拟机中部署 4.1.1 集群规划 4.1.2 上传解压 4.1.3 Hadoop安装包目录结构 4.1.4 修改配置文件 4.1.5 准备数据目录 4.1.6 分发Hadoop文件夹 4.1.7 配置环境变量 4.1.8 格式化整个文件系统 5. HDFS的Shell操作 5.1 进程启停管理 5.1.1 一键启停脚本 5.1.2 单进程启停 5.2 文件系统操作命令
基于Hadoop的大数据分析实战-Hadoop部署与实践视频课程
千帆过尽仍是沧海
08-30 951
http://edu.51cto.com/course/course_id-4028.html?edu_recommend_adid=38
环境数据分析应用：保护生态环境的关键
AI天才研究院
12-27 1270
1.背景介绍 环境数据分析应用是一种利用大数据技术来分析和预测环境变化的方法。在今天的世界里，环境问题已经成为一个重要的全球挑战。随着人口增长和经济发展，我们对环境的压力也越来越大。这导致了气候变化、生态损坏、水资源不足等问题。因此，环境数据分析应用成为了保护生态环境的关键。 环境数据分析应用可以帮助我们更好地理解环境问题，并制定有效的解决方案。通过对大量环境数据的分析，我们可以找出环境问题的...
基于深度学习的环境数据分析
weixin_42605076的博客
08-25 1532
基于深度学习的环境数据分析利用深度学习技术处理和分析大量复杂的环境数据，以揭示隐藏的模式、趋势和关系，进而支持环境监测、管理和决策。环境数据分析在气候变化、污染监测、生态系统保护和自然灾害预测等领域具有重要应用价值。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是Yu欸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值