本文介绍了Hadoop生态系统中的四个核心组件：HDFS分布式文件系统、MapReduce分布式计算框架、YARN资源管理平台及其开机启动流程。HDFS由NameNode、DataNode及SecondaryNameNode组成，负责大规模数据存储；MapReduce则通过Map和Reduce两个阶段实现数据处理；YARN作为资源调度中心，包含ResourceManager和NodeManager，负责集群资源分配。
1、hdfs 分布式文件系统
namenode 分布式文件管理系统的老大，管理着元数据
datanode 存储文件块，默认是128M
secondarynamenode 定期合并namenode上的元数据文件（主要是合并fsimage，通过叫edits的日志文件）
2、mapreduce分布式计算框架
map 完成数据读取，清洗，存储
reduce 对map阶段的数据，进行计算
3、yarn 资源管理平台（掌握他的工作原理）
resourcemanager 它是yarn的老大，统一管理nodemanager
nodemanger 计算节点（节点就是指的一台主机或者服务器）
4、hadoop开机启动
vi /etc/rc.d/rc.local
sh /hadoop/hadoop-2.6.4/sbin/start-all.sh
扫一扫
3548
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
