wang_ze_ma的博客

本篇文章主要列举一些Hadoop常用场景​ 主要是以下几种​ 高可用集群​ 节点新增/减少/拉黑​ HDFS数据迁移​ 大量小文件存储​高可用集群​ 一句话概括 双namenode消除单点故障​ 过程：​ 对active Namenode进行的任何操作，都会同步到共享存储设备(从NAS NSF挂载)到一个目录，备用节点会监控共享存储设备，发现更改同步到自身，发生故障时进行切换Hadoop节点上下线上线首先在slave配置中新加节点并且保证dfs.exclude文件为空

HDFS原理剖析前言​ 在上一章讲述了Hadoop的基础架构以及所担负的功能，这一章深入剖析背后的基本原理疑问​ 依旧首先是提出几个问题，带着问题去思考HDFS底层架构HDFS是一个分布式结构，节点间如何沟通，如何判断节点挂了？HDFS重要的功能就是读写，具体的流程是什么？这也是面试常考的点节点挂了是如何恢复的？HDFS核心​ 心跳机制什么是心跳机制？简而言之心跳机制就等于员工定时向领导汇报为什么需要心跳机制？因为Master需要分配任务给slave，但需要确定sl

思考​ 如何设计HDFS?首先明白HDFS是干嘛的？简单来说就是存数据的，所以有以下几点势必需要注意首先要能存大规模数据，TB级甚至PB级分布式系统容易出现故障，出现故障如何快速处理？一致性如何做的？这也是分布式系统的顽疾Hadoop是如何做的？大文件被切分成block，将block存储在不同节点上，同时通过Namenode存储文件对应block信息block做数据冗余，并且均衡分布在不同节点中，这样最大程度保证挂掉可以随时恢复HDFS架构​ ​ 架构:主从架构

Hadoop简述什么是Hadoop​ 一句话概括:Hadoop提供海量数据进分布式处理(也就是存储和计算)，存储依靠HDFS,计算依靠MapReduce​ Hadoop的核心组件包括:​ Common 基础功能组件，包含工具包和RPC框架，这个不难理解，Hadoop是一个分布式计算平台，自然 需要不同节点之间的通信​ HDFS 分布式文件系统，起存储作用​ YARN 资源调度系统​ MapReduce 分布式运算编程框架Hadoop发行版本​ Apac

Hadoop简述什么是Hadoop​ 一句话概括:Hadoop提供海量数据进分布式处理(也就是存储和计算)，存储依靠HDFS,计算依靠MapReduce​ Hadoop的核心组件包括:​ Common 基础功能组件，包含工具包和RPC框架，这个不难理解，Hadoop是一个分布式计算平台，自然 需要不同节点之间的通信​ HDFS 分布式文件系统，起存储作用​ YARN 资源调度系统​ MapReduce 分布式运算编程框架Hadoop发行版本​ Apac

Hadoop分布式集群搭建前言Hadoop集群种类伪分布式，单机只能搭建伪分布式，不推荐分布式 推荐搭建高可用 企业必选，保证机器挂了能够切换联邦集群 节点超级多，才会考虑，适用于一线厂资源划分节点HDFSYarndata002Namenode +SecondaryNamenodeResourceManagerdata003DataNodeNodeManagerdata004DataNodeNodeManager​ 注意