集群的各个节点名词解释

原创

已于 2022-09-19 15:18:19 修改 · 1.1w 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#java #hadoop #jvm

于 2018-09-09 15:30:27 首次发布

本文详细解释了Zookeeper、HDFS和Hadoop集群中的节点角色及其工作原理。Zookeeper包括leader、follower和znode，有临时和永久节点等类型。HDFS涉及NameNode、DataNode和secondaryNameNode，以及mapReduce的mapTask和reduceTask执行过程。讨论了Hive的优化策略，如避免MR执行、分区裁剪等，并提到了其他工具如Azkaban、Flume、Sqoop、Impala、Oozie和Kafka的角色和功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

zookeeper：主从架构
       leader:集群当中的主节点，主要用于处理事务性的操作请求（增删改）
       follower: 从节点，非事务操作，查询，投票选举
       节点模型：永久节点临时节点序列化节点可以组合成四类节点永久节点临时节点永久序列化节点永久临时节点
       临时节点：一旦客户端断开连接，临时节点消失
       znode：zookeeper当中每一个节点称之为一个znode，znode兼具有文件夹和文件的特性
       watch机制：监听器机制，一次性，只能监听一次节点的变化，如果需要持续的监听，需要监听到之后重新注册监听器

HDFS：
       NameNode : 主要用于存储元数据信息 fsImage edits
   DataNode : 主要用于出磁盘，存储数据
   secondaryNameNode：辅助namenode管理元数据，合并fsImage和edits文件。什么时候合并：1.时间长短 2。edits文件的大小
   journalNode：同步多个NameNode之间的元数据信息，保证每个NameNode看到的元数据都是一致的
   zkFailoverController：nameNode高可用的时候的守护进程，监控namenode的进程是否存在

maptask的机制：溢写的过程，mapTask处理完成之后的数据，经过一些列的步骤，分区，排序，规约，然后将数据写入到环形缓冲区，
       环型缓冲区就是一个数组，里面用了三个指针来执行我们的数据的写入，环形缓冲区的默认大小100M，默认环形缓冲区的
       阈值默认是0.8，写到80M的时候，重新启动一个线程，将数组当中的数据，写入到磁盘，磁盘当