HDFS 入门和基本操作

本文介绍了HDFS的用途、为什么选择HDFS存储大数据,以及HDFS的内部结构,包括Client、NameNode、DataNode和Secondary NameNode的角色。详细阐述了HDFS的文件读写过程,并提供了命令行接口的使用示例,帮助理解HDFS的基本操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、HDFS 是做什么的

  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,hdfs是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利。

 

2、为什么选择 HDFS 存储数据

  之所以选择 HDFS 存储数据,因为 HDFS 具有以下优点:

       1、高容错性

​ 数据自动保存多个副本。它通过增加副本的形式,提高容错性。

​ 某一个副本丢失以后,它可以自动恢复,这是由 HDFS 内部机制实现的,我们不必关心。

       2、适合批处理

​ 它是通过移动计算而不是移动数据。

​ 它会把数据位置暴露给计算框架。

       3、适合大数据处理

处理数据达到 GB、TB、甚至PB级别的数据。

​ 能够处理百万规模以上的文件数量,数量相当之大。

​ 能够处理10K节点的规模。

       4、流式文件访问

​ 一次写入,多次读取。文件一旦写入不能修改,只能追加。

​ 它能保证数据的一致性。

  5、可构建在廉价机器上

​ 它通过多副本机制,提高可靠性。

​ 它提供了容错和恢复机制。比如某一个副本丢失,可以通过其它副本来恢复。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值