Hadooop 学习笔记

HDFS

HDFS是一个分布式文件存储系统

系统结构：

一NameNode 和 多个 DataNode

运算原理：

1. 每个BigFile可以分为多个Block, 不同Block可以存放在不同DataNode, 每个Block可以有多个copy存放在不同DataNode上。NameNode保持文件Block的Meta数据信息。

2. 读取文件时，client端从NameNode找到文件对应的Block, 然后与DataNode直接建立连接，读取数据。

3. 写文件时，

Cons：

1. NameNode有单点瓶颈;

2. HDFS不适应存储小文件；

HADOOP

HADOOP是一个分布式计算框架，其用JAVA实现了google 提出的MapReduce模型。

Map: K1, V1 to K2,V2

Reduce: K2, List<V2>  to K3,V3

Cons：