- 博客(3)
- 收藏
- 关注
RSS订阅原创 分布式文件系统（HDFS）读写流程
HDFS数据副本机制1、第一份数据来源于用户的客户端2、第二份数据存放在与第一份副本在同一个机架，不同的节点，按照一定的机制（cpu 内存 io 使用率和节点磁 盘剩余容量）选取一个节点进行存放3、第三份副本存放在，与第一第二副本不在同一机架，且逻辑距离最近的机架上，按照一定的机制（cpu 内存 io 使用率和节点磁盘剩余容量），选择一个节点进行存放NameNode的三大作用1、维护、管理HDFS的目录数-元数据-名字空间2、确定指定的文件块到具体的DataNode结点的映射关系。
2020-05-28 20:53:45
1430
原创 大数据生态系统（Hadoop）的组成部分
HDFS （海量数据存储）管理者：NameNode作用：负责管理，管理集群内各个节点。负责管理整个文件系统的元数据（描述数据的索引），名字空间，目录树的维护工作者：DataNode作用：负责工作，进行读写数据。 周期向NameNode汇报。负责管理用户的文件数据块.辅助者：SecondaryNameNode作用：责辅助NameNode管理工作。辅助namenode管理元数据信息MapReduce （离线数据计算框架）Yarn （集群资源调度）管理者：ResourceMa
2020-05-28 20:20:27
990
原创 大数据生态系统（Hadoop）的安装部署
大数据生态系统（Hadoop）的安装部署安装hadoop的准备阶段（在每个节点） 1、安装 JDK 1.8 2 、远程ssh无密码登录（主到从） ssh-keygen ssh-copy-id ip/主机名 3、防火墙关闭 service iptables stop 永久关闭chkconfig iptables off 4、selinux关闭 vim /etc/selinux/config将 SELINUX=enforcing 改为 SELINUX=disabl
2020-05-19 22:14:20
2380
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人