大数据平台---Hadoop简介及安装（一）

                            大数据平台---Hadoop简介及安装（一）

一、什么是大数据？
大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit，按顺序给出所有单位：
bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
1 Byte =8 bit；
1 KB = 1,024 Bytes = 8192 bit
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
…

二、大数据平台
Hadoop平台（HBase、Hive等）
最近在学Hadoop，就以这个为基础。

三、Hadoop
1）Hadoop基本介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，简称HDFS。
HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；
而且它提供高吞吐量（high throughput ）来访问应用程序的数据，适合那些有
着超大数据集 （large data set）的应用程序。
2） Hadoop有3个核心组件：
分布式文件系统：HDFS ——实现将文件分布式存储在很多服务器上。
分布式运算编程框架：MapReduce——实现在很多机器上分布式并行运算。
分布式资源调度平台：YARN ——帮用户调度大量的mapreduce程序，并合理分配运算资源。
3) NameNode :是一个通常在 HDFS 实例中的单独机器上运行的软件。
主要职责：存储元数据、管理DataNode、指定备份数量、负责记录块信息。
元数据：数据块和存储位置关系的映射数据。
4）DataNode ：是一个通常在 HDFS实例中的单独机器上运行的软件。
主要职责：发送数据包、存储具体的数据块、负责存储文件块
ps：Hadoop 集群包含一个 NameNode 和大量 DataNode；NameNode和DataNode之间的协同工作是利用RPC心跳机制来实现。
（心跳机制：DataNode每隔一段时间向NameNode发送一个数据包，NameNode在规定的时间内，接收到数据包时，就知道自己管理了哪些DateNode,可以从数据包中分析当前DataNode的状态信息 以及存储数据块情况。）
5）SecondaryNameNode：辅助NameNode管理元数据

四、Hadoop安装：
1）首先要安装Linux（虚拟机我用的是VMware Workstation Pro）
2）再上传JDK、Hadoop安装文件到Linux系统上（用xftp实现，将安装文件上传到 /opt/），解压JDK的tar包后，vim /etc/profile，在最后一行添加：
export JAVA_HOME=/opt/jdk1.8.0_11
export PATH=$JAV{A}_{H}OME/bin:$PATH:$HOME/bin保存退出，再source/etc/profile使当前配置文件立即生效jdk1.8.0_{1}1是我自己用的版本，具体是哪个版本根据自己下的修改即可。同上解压Hadoop的tar包，vim/etc/profile，修改环境变量为：exportJAV{A}_{H}OME=/opt/jdk1.8.0_{1}1exportHADOO{P}_{H}OME=/opt/hadoop-2.7.3exportPATH=$HADOOP_HOME/bin:$HADOO{P}_{H}OME/sbin:$JAVA_HOME/bin:$PATH:$HOME/bin
3）接下来配置HDFS。下一篇再具体介绍。