最新大数据开发八股文总结——Hadoop_大数据八股文(1)，2024年最新你还看不懂吗

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

3）不支持文件并发写入，一个文件只能有一个写，不允许多个线程同时写。

3）仅支持数据append（追加），不支持文件的随机修改。

---

3.HDFS组成架构

---

4.HDFS文件块大小

HDFS的文件在物理上是分块储存（Block），块的大小通过配置参数配置(dfs.blocksize)，默认大小在Hadoop2.x版本中是128MB，老版本中是64M。

---

5.为什么快的大小不能设置太大，也不能设置太小？

（1）如果HDFS块的大小设置太小，则会增加寻址时间，程序一直在寻找块的开始位置；

（2）如果块的大小设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需要的时间。导致程序处理非常慢。

（3）HDFS块的大小设置取决于磁盘传输速率。

---

6.HDFS的shell操作(开发重点)

#1.命令大全：
bin/hadoop fs
#2.启动Hadoop集群：
sbin/start-dfs.sh
sbin/start-yarn.sh
#3.输出某一命令参数
hadoop fs -help rm
#4.创建文件夹
hadoop fs -mkdir bigdata
#5.上传操作
#5.1 从本地剪切粘贴到HDFS上
hadoop fs -moveFromLocal 
#5.2 从本地系统拷贝到HDFS上
hadoop fs -copyFromLocal
#5.3 等同于copyFromLocal
hadoop fs -put
#5.4 追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile 
#6.下载操作
#6.1 从HDFS拷贝到本地
hadoop fs -copyToLocal
hadoop fs -get
#7.直接操作
显示目录信息 hadoop fs -ls /shu
显示文件内容 hadoop fs -cat 文件名字
修改文件属性 -chmod -chown
创建路径 -mkdir
从HDFS的一个路径拷贝到另一个路径 -cp
在HDFS中移动文件 -mv
设置文件的副本数量 -setrep

---

7.HDFS的写数据流程

1）客户端通过分布式文件系统模块（Distributed FileSystem）向NameNode请求上传文件，NameNode检查目标文件是否存在，父目录是否存在；

2）NameNode返回是否可以上传文件；

3）客户端请求第一个Block上传到哪几个DataNode服务器上；

4）NameNode返回3个DataNode节点，分别为dn1,dn2,dn3;

5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2,dn2调用dn3,将这个通信管道建立完；

6）dn1,dn2,dn3逐级应答客户端；

7）客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存)，以Packet为单位，dn1收到一个Packet传给dn2,dn2传给dn3,dn1每传一个packet会放入一个应答队列等待应答；

8）当一个Block传输完成后，客户端再次请求NameNode上传第二个Block的服务器（重复执行3-7步）。

---

8.HDFS的读数据流程

1）客户端通过分布式系统模块（Distributed FileSystem）向NameNode请求下载文件，NameNode通过查询元数据，找到文件所在的DataNode地址。

2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

3）DataNode开始传输数据给客户端(从磁盘里面读取数据流，以Packet为单位做校验)

4）客户端以Packet为单位接收，现在本地缓存，然后写入目标文件。

---

9.NN 和 2NN 工作机制

1）Fsimage文件： NameNode 内存中元数据序列化后形成的文件，用于在磁盘中备份元数据。

2）Edits文件： 每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits文件中；记录客户端更新元数据信息的每一步操作（可通过 Edits 运算出元数据）。

一旦NameNode断电，就会合并Fsimage文件和Edits文件，合成元数据。引入的Secondary NameNode 专门用于合并两个文件。

---

第一阶段：NameNode 启动
（1）第一次启动 NameNode 格式化后&