fseast的博客

目录一、Hadoop1.Hadoop的组成1.1HDFS架构概述1.2YARN架构概述1.3MapReduce架构概述二、Hadoop的搭建1.运行环境1.1安装JDK1.2安装Hadoop2.伪分布式运行模式2.1配置文件说明2.2启动HDFS并运行MapReduce程序2.3启动YARN并运行MapReduce程序2.4配置历史服务器2.5配置日志的聚集3.完全分布式运行模式3.1虚拟机准备3...

目录伪分布式运行模式搭建接上篇：虚拟机上的Hadoop伪分布式和完全分布式的搭建伪分布式运行模式搞来了三台阿里云服务器：镜像：都是CentOS 7JDK版本是1.8，Hadoop版本是2.7.2，与上一篇虚拟机搭建用的软件包一致。搭建基本步骤与上一篇一样，配置文件需要配置的内容也都一样。这里只说使用阿里云服务器搭建与虚拟机不同的地方。在/etc/hosts文件配置除了需要配置外网...

目录一、HDFS概述优点缺点HDFS组成架构HDFS文件块大小二、HDFS的Shell操作一、HDFS概述HDFS(Hadoop distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。使用场景：适合一次写入，多次读写的场景，且不支持文件的修改。适合用来做数据分析，...

目录一、NameNode和SecondaryNameNodeNN和2NN工作机制Fsimage 和 Edits解析CheckPoint时间设置NameNode故障处理集群安全模式NameNode多目录配置二、DataNodeDataNode工作机制数据完整性掉线时限参数设置服役新数据节点退役旧数据节点添加白名单接上篇：（一）HDFS的认识及使用Java对其的简单操作一、NameNode和Sec...

目录一、MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范一、MapReduce概述MapReduce定义MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默...