Hadoop大数据处理框架详解-优快云博客

1.大数据概念

大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
主要解决的是海量数据的存储、海量数据的分析计算、统一资源管理调度

大数据特点:1、volume（大量） 2、velocity（高速） 3、variety（多样） 4、value（低价值密度）

2.Hadoop

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2、主要解决，海量数据的存储和海量数据的分析计算问题。
3、广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

2.1三大发行版本

Apache 最原始的版本，对于入门学习最好
Cloudera 在大型互联网企业中用的比较多
Hortonworks 文档较好

2.2Hadoop的优势（4高）

1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2、高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3、高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4、高容错性：能够自动将失败的任务重新分配

2.3Hadoop组成

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度。MapReduce只负责运算

3.架构概述

3.1HDFS架构概述

HDFS组成：NameNode、DataNode、Secondary NameNode
作用：
NameNode(nn) : 存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNdoe等。
DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照

3.2YARN架构概述

作用：
ResourceManager：1、处理客户端请求。2、监控NodeManager。3、启动或监控ApplicationMaster。4、资源的分配与调度。
NodeManager：1、管理单个节点上的资源。2、处理来自ResourceManager的命令。3、处理来自ApplicationMaster的命令。
ApplicationMaster：1、负责数据的切分。2、为应用程序申请资源并分配给内容的任务。3、任务的监控与容错
Container：它是Yarn中的资源抽象，它封装了某个节点上的多维度资源。如内存、cpu、磁盘、网络等

3.3MapReduce架构概述

Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总

4.Hadoop运行环境搭建（开发重点）

1. 安装好linux
2. *安装VMTools
3. 关闭防火墙
sudo service iptables stop
sudo chkconfig iptables off
4. 设置静态IP，更改主机名
编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0
改成

    DEVICE=eth0
    TYPE=Ethernet
    ONBOOT=yes
    BOOTPROTO=static
    NAME="eth0"
    IPADDR=192.168.5.101
    PREFIX=24
    GATEWAY=192.168.5.2
    DNS1=192.168.5.2

编辑vim /etc/sysconfig/network
改HOSTNAME=那一行

5. 配置/etc/hosts
vim /etc/hosts
   192.168.75.111（自己是什么就写什么） hadoop01

6. 创建一个一般用户jinghang，给他配置密码
useradd jinghang
passwd jinghang

7. 配置这个用户为sudoers
vim /etc/sudoers
在root ALL=(ALL) ALL
添加jinghang ALL=(ALL) NOPASSWD:ALL
保存时wq!强制保存

8. 在/opt目录下创建两个文件夹module和software
mkdir /opt/module /opt/software

并把所有权赋给jinghang
chown jinghang:jinghang /opt/module /opt/software

9. 关机，快照，克隆

4.1安装jdk

1、查询是否安装java软件如果是1.7以下的话卸载掉
Rpm -qa | grep java
2、用xshell工具将jdk导入到opt目录下面的software 文件夹下面
3、在Linux系统下的opt目录查看软件包是否导入成功
cd softwaer
4、解压到/opt/module目录下
tar jdk-8u144-linux-x64.tar.gz -C /opt/module/
5、配置JDK环境变量
Sudo vi /etc/profile
在文件末尾添加JDK路径
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=PATH:PATH:PATH:JAVA_HOME/bin
让修改后的文件生效
Source /etc/profile
6、测试JDK是否安装成功
Java -version

4.2安装Hadoop

1、用Xshell工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
2、进入到Hadoop安装包路径下
cd /opt/software
3、解压安装文件到/opt/module下面
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
4、查看是否解压成功
ls /opt/module/
5、配置环境变量
在vi /etc/profile末尾添加

export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=PATH:PATH:PATH:HADOOP_HOME/bin
export PATH=PATH:PATH:PATH:HADOOP_HOME/sbin

让修改后的文件生效
Source /etc/profile
6、测试是否安装成功
Hadoop version