Hadoop学习笔记（二）HDFS

王知无(import_bigdata)

已于 2022-03-12 14:14:33 修改

阅读量592

点赞数

CC 4.0 BY-SA版权

文章标签： hadoop hdfs 学习

于 2019-04-04 21:59:08 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.youkuaiyun.com/u013411339/article/details/89036174

Hadoop进阶学习专栏同时被 2 个专栏收录

30 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据成神之路

254 篇文章

订阅专栏

本文深入探讨了Hadoop分布式文件系统（HDFS）的设计目标，包括运行在普通硬件上、高扩展性和高吞吐量数据访问。介绍了HDFS的主从架构，包括NameNode和DataNode的角色，以及它们如何协同工作以确保数据的高可用性和容错性。文章还涵盖了HDFS的安装和常见shell命令，帮助用户更好地理解和操作HDFS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS的设计目标
通过上一篇文章的介绍我们已经了解到HDFS到底是怎样的东西，以及它是怎样通过多副本机制来提供高可靠性的，我们可以发现HDFS设计目标可以总结为以下几点：

非常巨大的分布式文件系统
运行在普通廉价的硬件上
易扩展、为用户提供性能不错的文件存储服务
HDFS的架构
我们通过官网的文档来了解HDFS的基础架构（http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html)：

Introduction
The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems are significant. HDFS is highly fault-tolerant and is designed to be deployed on low-cost hardware. HDFS provides high throughput access to application data and is suitable for applications that have large data sets. HDFS relaxes a few POSIX requirements to