hadoop学习总结

本文介绍了Hadoop生态系统中的四个核心组件:HDFS分布式文件系统、MapReduce分布式计算框架、YARN资源管理平台及其开机启动流程。HDFS由NameNode、DataNode及SecondaryNameNode组成,负责大规模数据存储;MapReduce则通过Map和Reduce两个阶段实现数据处理;YARN作为资源调度中心,包含ResourceManager和NodeManager,负责集群资源分配。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、hdfs 分布式文件系统
    namenode 分布式文件管理系统的老大,管理着元数据
    datanode 存储文件块,默认是128M
    secondarynamenode 定期合并namenode上的元数据文件(主要是合并fsimage,通过叫edits的日志文件)

2、mapreduce分布式计算框架
    map 完成数据读取,清洗,存储
    reduce 对map阶段的数据,进行计算

3、yarn 资源管理平台(掌握他的工作原理)
    resourcemanager 它是yarn的老大,统一管理nodemanager
    nodemanger 计算节点(节点就是指的一台主机或者服务器)

4、hadoop开机启动
   vi /etc/rc.d/rc.local
   sh /hadoop/hadoop-2.6.4/sbin/start-all.sh
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值