hadoop学习总结

1、hdfs 分布式文件系统

    namenode 分布式文件管理系统的老大，管理着元数据

    datanode 存储文件块，默认是128M

    secondarynamenode 定期合并namenode上的元数据文件（主要是合并fsimage，通过叫edits的日志文件）

2、mapreduce分布式计算框架

    map 完成数据读取，清洗，存储

    reduce 对map阶段的数据，进行计算

3、yarn 资源管理平台（掌握他的工作原理）

    resourcemanager 它是yarn的老大，统一管理nodemanager

    nodemanger 计算节点（节点就是指的一台主机或者服务器）

4、hadoop开机启动

   vi /etc/rc.d/rc.local

   sh /hadoop/hadoop-2.6.4/sbin/start-all.sh