weixin_45749011的博客

Hadoop的组成部分有: HDFS: 海量数据的存储系统 Map Reduce: 海量数据的计算系统（计算框架） YARN: 集群资源管理（调度）的框架。 HDFS 管理者：NameNode 作用：负责管理，管理集群内各个节点。 负责管理整个文件系统的元数据（指的是数据的存放位置或存放路径）或名字空间 辅助管理者：SecondaryNameNode 作用：责辅助NameNode管理工...

文章目录1. HDFS 副本存放机制2. HDFS数据写入流程3. HDFS数据读取流程4. HDFS数据完整性5. HDFS适用场景 1. HDFS 副本存放机制 第一份数据来源于客户端 第二份存放的位置是与第一个副本在相同机架上，且不在同一个节点，按照一定的规则（cpu 内存 IO是用率，和硬盘剩余容量）找到一个节点存放 第三份副本的存放位置是与第一第二份数据副本不在同一个机架上，且逻辑与存放...

准备工作: 创建一台全新的虚拟机 关闭防火墙 修改主机名 给IP起别名 关闭selinux ssh免密登录 1. 新增节点 1.1 在主节点创建dfs.hosts文件 在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下 添加如下主机名称（包含新服役的节点） [root@node01 Hadoo...