
HDFS
Java面试大全
分享一些有关于 Java 体系的知识,包括Java 基础知识/数据结构/算法/面试技巧,Spring/Springboot/MQ源码分析,高并发/高性能/分布式/微服务架构的原理,JVM性能优化 ,希望能让大家在技术上和思想上带来一些提升。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS中副本的相关问题
*****副本存放策略:1、先在客户端所连接的datanode上存放一个副本2、再在另一个机架上选择一个datanode存放第二个副本3、最后在本机架上根据负载情况随机挑选一个datanode存放第三个副本****副本数量的配置优先级1、服务端hdfs-site.xml中可以配置2、在客户端指定dfs.replication的值客户端所指定的值优先级更高!!!****定期向NameNode汇报自身...原创 2018-05-26 09:27:04 · 13289 阅读 · 1 评论 -
HDFS的实现机制和文件系统概念
原创 2018-05-26 09:28:16 · 13142 阅读 · 0 评论 -
HDFS及NameNode元数据管理机制细节
NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。文件包括:①fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。②edits:操作日志文件。③fstime:保存最近一次checkpoint的时间以上这些文件是保存在linux的文件系统中。NameNode的工作特点Namenode始...原创 2018-05-26 09:31:13 · 14091 阅读 · 0 评论 -
HDFS读过程
1.初始化FileSystem,然后客户端(client)用FileSystem的open()函数打开文件2.FileSystem用RPC调用元数据节点,得到文件的数据块信息,对于每一个数据块,元数据节点返回保存数据块的数据节点的地址。3.FileSystem返回FSDataInputStream给客户端,用来读取数据,客户端调用stream的read()函数开始读取数据。4.DFSInputSt...原创 2018-05-26 09:33:10 · 13101 阅读 · 0 评论 -
HDFS写过程
1.初始化FileSystem,客户端调用create()来创建文件2.FileSystem用RPC调用元数据节点,在文件系统的命名空间中创建一个新的文件,元数据节点首先确定文件原来不存在,并且客户端有创建文件的权限,然后创建新文件。3.FileSystem返回DFSOutputStream,客户端用于写数据,客户端开始写入数据。4.DFSOutputStream将数据分成块,写入data que...原创 2018-05-26 09:35:14 · 13144 阅读 · 0 评论