HADOOP的基础知识-1

你们使用的 hadoop 是什么环境什么版本的？

hadoop   开源版 2.8

hadoop   cdh 版本 5

 hadoop 有哪三大组件？

hdfs ： hadoop 的分布式文件管理系统

mapreduce ： 数据的计算引擎

yarn ： 资源管理和调度系统

hadoop 平台，你用过和知道哪些不同的组件？

离线的部分：sqoop yarn hdfs mapreduce hive

实时的部分：flume(日志信息的收集) kafka(消息队列的处理) hbase(一种列式存储的数据库)

spark(基于内存的计算引擎) flink(流式处理的计算引擎)

hadoop 里面，hdfs 数据块是多大一块？

128M

数据默认保存几份？

3 份

hdfs 里面由哪几个组件构成？

datanode namenode secondarynamenode

hdfs 里面的几个组件，分别有哪些功能和作用？

secondarynamenode：服务器数据的收集，将信息传递给 namenode

namenode：负责和客户端进行沟通

datanode：负责存储数据

hadoop 的基础服务有哪几个？

datanode namenode secondarynamenode jps resourcemanager nodemanager

hdfs 里面，写入数据（上传文件）和读取数据（下载文件），过程流程和原理是

什么？

读取数据：

1.客户端申请某个位置的文件或者数据

2.namenode 响应申请，并且将文件和数据所在的 datanode 节点信息列表返回给客户端

3.客户端根据节点信息去向 datanode 申请数据的读取

4.datanode 响应成功给客户端

5.客户端开始申请读取 block1

6.datanode 返回 block1 的数据

7.持续申请后面的其他 block 数据

8.datanode 持续的返回剩下的其他数据

写入数据：

1.客户端要申请写入一个数据

2.namenode 审核文件和数据的合法性

3.namenode 返回允许的响应

4.客户端开始申请写入

5.namenode 返回 datanode 的节点信息

6.客户端找到 datanode 开始申请写入数据

7.datanode 同意进行数据写入

8.客户端开始上传数据

8.1 datanode 开始向其他的 datanode 申请备份

8.2 其他的 datanode 同意备份

8.3 开始备份

8.4 备份完成

9. datanode 回应客户端表示写入成功