技术日志

一、  目标 Hadoop2.X MapReduce集群搭建   操作系统: CentOS Linux release 7.3.1611   服务器集群: Node-0: 192.168.2.200 Node-1: 192.168.2.201 Node-2: 192.168.2.202 Node-3: 192.168.2.203 Node-4: 192.168.2.20

一、  目标 基于Hadoop2.X 开发及部署MapReduce任务   l  案例需求 计算在1949年-1951年，每年温度最高的前3天   l 思路：       1.按年份升序排序，同时每一年中温度按降序排序 2.按年分组，每一年对应一个reduce任务   l 技术实现： 1.mapreduce四个步骤：split、mapper、shuffle、reduce，其中

一、  背景 Hadoop官网提供的编译包如hadoop-2.7.4.tar.gz为Linux32位环境编译，其中native library在64位环境中运行会出现异常。因而在64位生产环境中使用的Hadoop是需要下载源代码并在64位系统中进行成功编译后的版本。   二、  环境 CentOS Linux release 7.3.1611 JDK 1.8_144 MAVEN 3.5

一、  背景 Hadoop官网提供的编译包如hadoop-2.7.4.tar.gz为Linux32位环境编译，其中native library在64位环境中运行会出现异常。因而在64位生产环境中使用的Hadoop是需要下载源代码并在64位系统中进行成功编译后的版本。   二、  环境 PC: MacBook Pro(Retina,13-inch,Mid 2014) OS: macOS S