本文详细介绍了HDFS的Block放置策略，包括第一个副本在上传节点或随机节点，第二个副本放置于不同机架，第三个副本在同机架不同节点。HDFS的读流程涉及客户端从NameNode获取Block位置，然后直接连接DataNode读取数据，出现异常时有容错机制。写流程中，客户端创建文件，DataStreamer构建Pipeline并将数据分发到DataNode，确保数据的高可用性。此外，列举了常用的HDFS命令，如上传、删除、复制文件等。
6、Block放置策略
– 第一个副本：集群内部提交放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。
– 第二个副本：放置在于第一个副本不同的机架的节点上。
– 第三个副本：与第二个副本相同机架的不同节点。
– 更多副本：随机节点，不重复的
7、请描述一下HDFS的读、写流程（具体说一下ack）
读的流程
1.首先 调用fileSystem的open方法，其实是一个distributedFileSystem的实例
2.distributedFileSystem通过rpc协议获得文件的第一批block的locations地址，（同一个block按照重复数会返回多个locations，因为同一个文件的block分布式存储在不同的节点上），locations按照hadoop的拓扑原则排序，客户端附近的排在前面（就近原则）
<
最低0.47元/天 解锁文章
扫一扫
732
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
