zhixingheyi_tian的博客

NameNode类入口 public static void main(String argv[]) throws Exception { if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) { System.exit(0); } try { Stri...

DataNode重要的数据功能之一是读取数据块

DataTransferThrottlerhdfs Datanode是 IO密集型应用，网络IO、磁盘IO容易成为系统的瓶颈。 Datanode 有各种任务占用这些共同资源，为保证可用性，有必要对流量进行控制//a class to throttle the data transfers. 实现限流作用的是类DataTransferThrottler ，其实现也相当简单： 周期period（毫

HDFS客户端创建文件示例 Path file = new Path("demo.txt"); FSDataOutputStream outStream = fs.create(file); fs 是 DistributedFileSystem 实例， DistributedFileSystem create public HdfsDataOutputStream create(...

hadoop 2.6 采用 谷歌protocol buffer作为通信协议，但是protocol buffer 相对于Thrift ，需要自己实现一套底层通信框架。 hadoop Server类及其相关类，采用java NIO 及 多reactor 模式事件驱动I/O模型，外加多线程，实现了服务端高并发通信，构建了强有力的分布式基础设施。 今天剖析下其代码实现。 多reactor java...

NameNodeRpcServer 启动监听 clientRpcServer 用于响应 hdfs 客户端的 RPC请求 serviceRpcServer 用于响应 DataNode RPC 请求 /** * Start client and service RPC servers. */ void start() { clientRpcServer.start(...

实现类 为 FSImage 主要有三个功能 保存命名空间，NameNode内存中的namespace 保存在本地文件系统fsimage 文件中 加载fsimage 加载editlog seen_txid:保存了日志重置时的最新的 transaction id，并不代表 Namenode 内存中最新的事务id 使用 protobuf 对 fsimage 文件 进行序列化 合并 fsi...

Datanode启动后，会与Namenode握手、注册，以及第一次向NameNode发送全量块汇报，之后 每100个心跳间隔 （默认300s） 向Namenode发起增量汇报（添加、删除信息），同时间隔6小时发起全量汇报汇报（防止增量汇报出现异常）。为提高HDFS启动速度，针对DataNode第一次全量汇报，为提高响应速度，Namenode不会对元数据做处理（重新计算哪些需要删除 或 失效），推迟到

HDFS 文件 是 write-once-read-many ，不支持客户端的并行写操作。 租约（lease）机制保证了HDFS文件的互斥操作。 客户端写HDFS文件时，先从租约管理器（LeaseManager）申请一个租约，成为租约持有者，也就有了对该HDFS文件的独占权限 Hadoop 2.3 以上，新增了centralized Cache Management，允许用户将一些文件目...

客户端 DistributedFileSystem.java调用入口 @Override public FSDataOutputStream append(Path f, final int bufferSize, final Progressable progress) throws IOException { statistics.incrementWrite...