废物点心的博客

MapReduce执行流程一个完整的 mapreduce 程序在分布式运行时有三类实例进程：MRAppMaster：负责整个程序的过程调度及状态协调MapTask：负责 map 阶段的整个数据处理流程ReduceTask：负责 reduce 阶段的整个数据处理流程设计构思MapReduce 是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个...

文章目录一、NameNode 概述二、DataNode 概述三、HDFS的工作机制三、HDFS 写数据流程四、HDFS 读数据流程五、HDFS重要特性1． master/slave 架构2． 分块存储3． 名字空间（NameSpace ）4． Namenode 元数据管理5． Datanode 数据存储6． 副本机制7． 一次写入，多次读出一、NameNode 概述NameNode 是 HD...

文章目录前言元数据管理概述元数据目录相关文件secondary namenodeCheckpoint总结前言没什么话好讲 但这一张讲元数据 因为之前学习一直有疑惑 参考了很多资料后元数据管理概述HDFS元数据，按类型分，主要包括以下几个部分：文件、目录自身的属性信息，例如文件名，目录名，修改信息等。文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等。记录 HDFS...

前言上一篇讲了zookeeper的部署，现在可以简单的操作一下一、启动zookeeper集群进入zookeeper安装目录下的bin目录内，通过命令启动./zkServer.sh start通过命令查看节点状态./zkServer.sh status通过命令关闭./zkServer.sh stop二、连接zookeeper服务启动zookeeper服务之后，输入以下命令，...

前言Zookeeper 集群搭建指的是 ZooKeeper 分布式模式安装。通常由 2n+1台 servers 组成。这是因为为了保证 Leader 选举（基于 Paxos 算法的实现）能过得到多数的支持，所以 ZooKeeper 集群的数量一般为奇数。Zookeeper 运行需要 java 环境，所以需要提前安装 jdk1.　卸载自带的jdk查看当前jdk版本信息获取java软件包的...

文章目录前言一、hadoop命令二、hdfs和getconf结合使用三、hdfs和dfsadmin结合使用四、hdfs和fsck结合使用五、其他命令六、出现问题前言这章介绍一下hadoop 的一些简单的操作命令，可以简单的感受一下hadoop一、hadoop命令Hadoop fs类似于hdfs dfs （hdfs dfs -ls /==hadoop fs -ls /）如何查看hdfs...

文章目录前言hadoop模式搭建完全分布式搭建思路步骤前言这章我们来看一下hadoop的搭建hadoop模式hadoop部署模式有三种1、单机：Hadoop的单机模式安装很简单,只需配置好环境变量即可运行,这个模式一般用来学习和测试Hadoop的功能2、伪分布式：伪分布式的安装和完全分布式类似,区别是所有角色安装在一台机器上,使用本地磁盘,一般生产环境都会使用完全分布式,伪分...