JasonWang的博客

作业描述： 针对当前空⽓质量监测数据，环保部门需要根据监测数据实时发布预警信息，需要我们在实时到达的六种污染物监测数据中，根据每⼀种数据的监测值进⾏报警检测。输⼊数据：“空⽓质量监控数据”，格式如下： Time, id, PM2.5, PM10, SO2, CO, NO2, O3 例如：2017-10-26 10:10:10.666,1,160,260,400,50,1000,300

这篇blog主要是讲如何搭建Hadoop集群，是继我上一篇手把手教你如何使用阿里云搭建Hadoop环境 环境下进行的，如果你还没看过上一篇blog，建议你先看一下如何搭建Hadoop环境，在继续往下看。如果你已经在自己的服务器上搭建好hadoop环境，那么集群相对环境的配置来说要简单的多，下面就开始搭建集群。准备工作 两台服务器，一台做master，一台做worker，worker

前两篇我已经介绍了如何在服务器上搭建Hadoop环境已经Hadoop集群，接下来我将介绍一下如何在Hadoop上搭建Spark集群。（如果你还没看过我前两篇blog，那么这篇你也可以看，不过还是建议先阅读一下前两篇bolg：手把手教你如何使用阿里云搭建Hadoop环境，阿里云搭建Hadoop集群）。准本工作 还是在之前的master节点和worker节点中进行搭建。第一步下载Spark并解压

首先介绍一下我的作业要求和Hadoop开发环境：作业目的：实现两表连接。开发环境：IntelliJ IDEA JAVA环境：JDK 9 Hadoop：2.8.1 依赖管理工具：Maven（项目github地址） 作业描述:将Perons表和Order表根据id连接起来，类似于数据库中的join操作。Persons和Order表结构如下图： 实际操作过程如下图：代码实现如下：pom.