Hadoop的HDFS以及YARN简介

本文介绍了Hadoop的分布式存储系统HDFS,包括其主要优缺点、功能模块如NameNode、SecondaryNameNode、DataNode等,以及读写流程。此外,还探讨了Hadoop2.0的高可用特性、ZooKeeper的角色和YARN的资源管理任务调度流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop的HDFS以及YARN简介

Hadoop分布式系统简介

  • Hadoop是分布式的系统架构,是Apache基金会顶级金牌项目

  • 来源:三大论文GFS、MapReduce、 Bigtable

  • 创始人:Doug cutting

Hadoop分布式系统重要部分

  • HDFS
  • YARN
  • MapReduce
  • Zookeeper
  • Hive
  • Hbase

HDFS(分布式存储系统)

  • 用途:解决大数据的存储问题

主要优缺点

  • 优点:
    • 分布式的特性
    • 适合大数据处理
    • 百万规模以上的文件数量
    • 适合批处理
    • 移动计算而非数据(MR),数据位置暴露给计算框架
    • 高可靠性,高容错性
  • 缺点
    • 低延迟高数据吞吐访问问题
    • 小文件读取占大量内存
    • 不支持文件修改

功能模块

数据存储单元(block)

文件被切分成固定大小的数据块block

默认数据块大小为128MB(Hadoop2.x)

数据大小不足一个block存成一个block

block为逻辑概念&

配置Hadoop HDFSYARN集群涉及到几个重要的配置文件: 1. hdfs-site.xml:这个文件于配置HDFS相关的参数,如数据大小、副本数量、NameNode和Node的存储路径等。示例配置```xml <configuration> <!-- 设置数据块大小为128MB --> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> <!-- 设置副本数量为3 --> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 设置NameNode的存储路径 --> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/namenode/directory</value> </property> <!--DataNode的存储路径 --> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/datanode/directory</value> </property> </configuration> ``` 2. yarn-site.xml:这个文件用于配置YARN相关的参数,如ResourceManager和NodeManager的内存大小、日志路径等。示例配置: ```xml <configuration> <!-- 设置ResourceManager的内存大小为4GB --> <property> <name>yarn.resourcemanager.memory.mb</name> <value>4096</value> </property> <!-- 设置NodeManager的内存大小为2GB --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <!-- 设置日志路径 --> <property> <name>yarn.nodemanager.log-dirs</name> <value>/path/to/nodemanager/logs</value> </property> <!-- 设置YARN应用程序历史服务器的地址 --> <property> <name>yarn.timeline-service.address</name> <value>hostname:port</value> </property> </configuration> ``` 3. core-site.xml:这个文件用于配置Hadoop的核心参数,如HDFS的默认文件系统、YARN的默认资源管理器地址等。示例配置: ```xml <configuration> <!-- 设置HDFS的默认文件系统为hdfs://namenode:port --> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:8020</value> </property> <!-- 设置YARN的默认资源管理器地址为resourcemanager:port --> <property> <name>yarn.resourcemanager.address</name> <value>resourcemanager:8032</value> </property> </configuration> ``` 这只是配置文件的基本示例,实际配置会根据你的集群规模和需求而有所不同。在配置文件中,你需要根据你的环境和需求修改相应的参数值。此外,还需要确保集群中所有节点上的配置文件保持一致。 配置完成后,将修改后的配置文件分发到集群中所有节点上,并重启HDFSYARN服务,使配置生效。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值