码上开始的博客

Q1:什么是HA Q2:QJM基本的原理 Q3:什么是脑裂 Q4:ZKFailoverController是用来做什么的

伪集群搭建 一、 安装JDK 二、 安装Hadoop1、 将hadoop解压到某指定路径，假设为/home/hadoop/apps/目录 tar –vxzf hadoop-xxx.tar.gz –C /home/hadoop/apps/ 2、 修改配置文件 修改core-site.xml<configuration> <propert

HDFS工作原理一、 概述 1、 HDFS集群分为两大角色：NameNode、DataNode 2、 NameNode负责管理整个文件系统的元数据 3、 DataNode负责管理用户的文件数据块 4、 文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干平台的datanode上 5、 每一个文件块可以有多个副本，并存放在不同的datanode上 6、

MapReduce工作原理一、 概述 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完成的分布式运算程序，并发运行在一个hadoop集群上。为什么要MapReduce？ 1、 海量数据在单机上处理运维硬件资源限制，无法胜任 2、 而一旦将单机版程序扩

Hadoop的HA机制一、 概述1、HA机制介绍 HA机制是从hadoop2.0开始引入的，之前的版本中是没有HA机制的。所谓HA，即高可用(7*24小时不中断服务)，实现高可用最关键的是消除单点故障，Hadoop-HA严格来说应该分为各个组件的HA机制-HDFS的HA、Yarn的HA。2、HA机制详解 通过双namenode消除单点故障，双namenode协调工作的要点：

Hadoop运行MR程序报错