wyl9527的博客

1、问题描述 查看一下6834的进程是hadoop的datanode服务，可以看到cpu负载过高。2、解决方法（1） 关闭大页内存：echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag && echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

1 机器规划服务器角色wyl01NameNode ， DataNode，NodeManagerwyl02DataNode ，NodeManager ，ResourceManagerwyl03DataNode ，NodeManager ，SecondaryNameNode2 准备工作获取hadoop-2.9.2二进制文件wyl01机器免密钥到其他...

1 自动故障转移原理前面学习了使用命令hdfs haadmin -failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，防止脑裂问题下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。如上图...

1 概述所谓HA（High Available），即高可用（7*24小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将...

1 调度器(Resource Scheduler)1 FIFO Scheduler 按照作业提交顺序放到先进先出的队列中执行2 Capacity Scheduler（apache版本默认） apache版本默认使用的 将不同作业放到不同队列中，每个队列按照FIFO或DRF进行分配资源3 Fair Scheduler（cdh版本默认） CDH版本默认使用的 动态划分或指定多个队...

1 hdfs原理1.1 三大组件 NameNode、DataNode、SecondaryNameNode1.2 NameNode作用：存储元数据(文件名、创建时间、大小、权限、文件与block块映射关系)数据存储目录：dfs.namenode.name.dir1.3 DataNode作用：存储真实的数据信息数据存储目录：dfs.datanode.data.dirblock块：...

目录1.spark是什么？2.spark的原理3. spark的分布式部署3.1 机器信息3.2 安装前准备工作3.2.1 jdk的安装3.2.2python的安装3.2.3 scala的安装3.3 Spark的安装3.3.1 获取安装包3.3.2 解压，配置环境变量3.3.3 修改配置文件，分发到其他机器3.3.4 启动服务3.3....

1 架构设计前面我们有介绍到HDFS HA的配置内容，高可用Yarn’s ResourceManager的配置和HDFS类似,在hadoop中默认只有一个ResourceManger,现在增加一个节点，类似我们的NameNode的active/stangdby状态。在一个典型的HA集群中，两台独立的机器被配置成ResourceManger。在任意时间，有且只允许以个活动的ResourceMan...