Hadoop初了解

名词解释

HDFS:分布式文件系统 client

NameNode:维护目录树结构 ， 存放文件系统的元数据

动态元数据:Block块的位置信息（通过心态的方式来给namenode汇报）

静态元数据:文件大小,节点信息，偏移量，block清单

DataNode : 数据存储，真实存放数据,将自己的数据块信息通过心跳传给NameNode。

元数据：用来描述数据的数据

Hive: 数据仓库，面向分析处理 OLAP（联机分析处理）

RDMS : 在传统的关系型数据库，面向业务处理 OLTP （联机事务处理）

HBase : 非关系型数据库 主要存储非结构化数据 面向列处理方式

Flum: 大数据数据采集工具

Sqoop : 数据转移工具（将关系型数据库转移到HDFS（可逆））

Zookeeper ： 分布式协调系统（目录树结构、事件回调机制、客户端Session）

Block 块：最小为1M，默认值为128M,可以设置副本数，默认为三个，包括原件,副本数的数量不能超过集群节点的数量

Client:集群外的客户端和集群内的客户端

1. Client和NameNode交互的是元数据
2. Client和DataNode交互的是block数据块

Editlog:可以做到挂机前的最后一步操作

fsImage:只能做到某一时点的内存状态

分布式计算：MapReduce

1.分解任务 Map
2.汇总结果 Reduce

Hapood的两大核心 ： HDFS 和 MapReduce

运行时内存和磁盘的双向交互叫做交换，运行是从磁盘读取数据到内存

持久化：单向，运行时会往磁盘写数据，当出现挂机或重新启动的时候从磁盘读回，Block块的位置信息,不会做持久化