enviable的博客

Namenode介绍Namenode如同一个管理者的角色● 它负责维护整个hdfs文件系统的目录树结构以及文件所对应的block块信息（保存在磁盘上，因为文件与block块之间的关系不会发生变化）；● 它管理block块与datanode的映射关系（Namenode启动时候块上报，保存在内存中）；● 它能接收cilent的请求，接收datanode的块报告和心跳；Namenode服务主要靠3个重要类实现● Namenode类：启动类，管理配置等● Namenode server：NameNod

https://issues.apache.org/jira/browse/YARN-1336版本不一致可能存在的问题https://issues.apache.org/jira/browse/YARN-5630nm重启NMNullStateStoreService：功能未开启时候使用这个实例NMLeveldbStateStoreService：功能开启后使用这个实例nm重启利用将状态存储到levelDB库中，存储在磁盘上，在启动时候读取状态，重新和app等关联起来重启不会导致containe

Hadoop服务启动脚本流程

Dynamometer工具使用步骤Dynamometer介绍准备"材料"原理注意事项流程1.fsimage2.hadoop binary3.Configurations注意：后续所有的操作对象都是Hadoop A集群了4.Block Generation第1个坑来了，322目录是错的5.启动集群第二个坑来了，NN可能启动失败第三个坑来了，找不到ranger相关类6.模拟负载第四个坑来了，程序一直睡眠第五个坑来了，操作无效第六个坑来了，文件问题后续引入的思考Dynamometer简单介绍一下这个是啥？但其

HDFS创建文件/写数据源码解析HDFSHDFS写流程创建文件源码客户端DistributedFileSystemDFSClientDFSOutputStream客户端/Namenode协议DataStreamer租约LeaseRenewerNameNodeFSNamesystemFSDirWriteFileOp写数据客户端FSOutputSummerDFSOutputStreamDataStreamer创建block建立数据管道initDataStreaming();response.start();Na

DN结构Datanode结构可划分为3个层BlockPoolManagerDN拥有一个BlockPoolManager实例（用于管理多个块池，一个名称空间只有一个块池），BlockPoolManager拥有多个BPOfferService对象（每个对象都封装对单个块池的api），对于BPOfferService对象的创建、移除、启动、停止等操作必须通过类BlockPoolManager的API来完成，每个BPOfferService拥有两个BPServiceActor，每个BPServiceActo

3.2.2 版本 DN启动流程DN流程图源码解析dn不多做介绍，启动流程相对简单，通过main方法开始，一步一步去看源码，本文源码解析只展示重要方法顺便求志同道合者，致力于大数据存储与计算有无交流群共同学习（Hadoop源码/性能调优/生产环境真实场景）DN流程图源码解析定位到DataNode.java，DN也是一个main程序public static void main(String args[]) { if (DFSUtil.parseHelpArgument(args, Da

mac mi芯片无法编译protoc2.5.0https://cwiki.apache.org/confluence/display/HADOOP/Develop+on+Apple+Silicon+%28M1%29+macOS为了阅读源码，查阅资料，安装protoc2.5.0一直报不兼容错误等等发现现在的mac无法和protoc2.5.0兼容将就着看吧，后面需要阅读协议相关源码，只能重新尝试编译https://github.com/protocolbuffers/protobuf/releases

ZFKC原理及源码解析原理概述流程HealthMonitorActiveStandbyElectorZKFCFencing源码原理概述NameNode主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现。HealthMonitor负责监控NN的健康情况，起一个线程去发送rpc请求，根据响应来确认NN状态，一旦状态发生改变时候通过回调函数通知zkfcActiveStandbyElector主要负责