基于hadoop分析，了解hive的使用

一、Hadoop理论

　　Hadoop是一个专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。

Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理）

　　Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。

　　用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。

　　hadoop使用java编写，版本较为混乱，初学者可从1.2.1开始学习

　　　　1.成百上千台服务器组成集群，需要时刻检测服务器是否故障

　　　　2.用流读取数据更加高效快速

　　　　3.存储节点具有运算功能，省略了服务器之间来回传数据的网络带宽限制

　　　　4.一次写入，多次访问，不修改数据

　　　　5.多平台

-------------------------------------------------------------------------------------------------------------------------------------

namenode:master

负责总体调度，处理协调请求等（一个集群只能有一个namenode，但是可以多个集群组成一个更大的集群，这时就有多个namenode，这时的namenode有两种状态，一种叫active并且一个大集群只能有一个namenode处于该状态，一种为standby）

namenode两大功能：接受客户端读写服务，存放元数据（DataNode存储的位置等基本信息，fsimage和edits文件）

fsimage是namenode格式化时产生的，edits是用户操作增删改查的时候生成的日志

datanode:slave，存储节点，会备份，一般本地2分，其他服务器一份

机架:多个DataNod节点组成，master通过机架感知技术得知所需数据的位置

<