大数据学习篇：hadoop深入浅出系列之HDFS（一）——HDFS简介和优缺点

最新推荐文章于 2025-11-03 18:58:51 发布
原创 最新推荐文章于 2025-11-03 18:58:51 发布 · 5.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS介绍 #hadoop2HDFS #分布式系统 #HDFS分布式 #HDFS深入浅出

本文介绍了Hadoop的分布式文件系统HDFS，包括其基本概念、特性以及适用环境。HDFS旨在处理大规模数据，提供高容错、高可靠性，并允许流式数据访问。虽然不适合小文件存储和实时读取，但通过归档和集群扩展等策略可进行优化。

上一篇，我们说了hadoop的伪分布式安装，今天我们来说说著名的HDFS，

一：HDFS简单介绍

    HDFS，顾名思义 Hadoop Distributed File System，翻译过来就是hadoop分布式文件系统，至于它的来历我就不说了，网上比比皆是。


随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。分布式管理系统的最大的变化就是管理对象不再是单机本地分布的，而是分布于网络中。分布式系统同样要为用户提供对文件和目录的相关操作。

HDFS是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需

最低0.47元/天 解锁文章
HDFS：大数据时代的分布式文件存储解决方案
2301_77448861的博客
06-12 1970
HDFS（Hadoop Distributed File System）是Apache Hadoop项目的一个关键组成部分，是一个分布式文件系统，设计用来跨多个物理服务器运行，支持大规模数据集的存储，对于运行在商用硬件上的分布式应用提供高吞吐量。HDFS是Hadoop生态系统中处理大数据的核心存储系统之一。HDFS作为大数据时代的分布式文件存储解决方案，以其高可靠性、高吞吐量和易于扩展的特性，在大数据处理领域占据了举足轻重的地位。
Hadoop之分布式文件存储系统Hdfs
qq_41700030的博客
08-23 751
简单了解一下Hadoop的Hdfs(分布式文件存储系统) 1、Hdfs将一个很大的数据分割成很多小的数据块（Blocks）存储在数据节点（DataNode）上,由NameNode进行管理 2、提供副本进行容错及可靠性保证，每个数据默认在两个不通机架的三个节点上保存由三个副本 3、HDFS是针对MapReduce设计的，使得数据尽可能根据其本地局部性进行访问与计算。 5、提供对这些信息的快速访问，并...
任务6：HDFS三种操作方式完全指南：Shell命令、Web界面与Java API（Hadoop部署）
最新发布
YYYY_Nlx的博客
11-03 1849
确保使用正确的IP地址，不是localhost检查Hadoop服务状态，使用jps命令验证确认防火墙设置，端口9000和9870需要开放通过本文的详细步骤，你应该能够：✅ 成功安装和配置Big Data Tools插件✅ 建立稳定的HDFS连接✅ 熟练进行图形化HDFS操作✅ 掌握命令行和Java API操作✅ 解决常见的连接和配置问题Big Data Tools插件极大地简化了HDFS操作流程，让开发者能够更专注于业务逻辑而不是环境配置。希望这篇教程能够帮助你在大数据开发道路上更加顺畅！
HDFS分布式存储系统简述
weixin_52496695的博客
04-12 2341
HDFS分布式存储系统 HDFS存储架构 文件存储系统原理 文件存储在磁盘上，磁盘读取数据靠的是机械运动。 当需要从磁盘读取数据时，系统会将数据逻辑地址传给磁盘，磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址，即确定要读的数据在哪个磁道，哪个扇区。为了读取这个扇区的数据，需要将磁头放到这个扇区上方， 为了实现这一点，磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间，然后磁盘旋转将目标扇区旋转到磁头下，这个过程耗费的时间叫做旋转时间。 最后是对读取数据的传输。 所以每次读取数据花费
分布式存储系统HDFS
apple_50595445的博客
12-06 3865
3.1 HDFS简介 Hadoop平台解决两大核心问题： 分布式存储 分布式处理 HDFS就是解决海量数据分布式存储 背景：大数据时代，对于海量的数据，单个计算机无法处理，只能借助整个集群来处理海量数据。 文件系统结构（主从结构）： 主节点：承担起目录作用，比如元数据服务。 从节点：实现数据存取的任务。 实现目标： 兼容廉价的硬件设备 实现流数据读写（对于数据整个读写或者大部分读写，不会访问某一个子集，或一个块），满足海量数据批处理需求 支持大数据集 支持简单的文件模型，牺牲一些相关的性能，但是
HDFS分布式存储
SmallIPPig的博客
10-15 393
1. Hadoop历史： 1.1创建者： Doug Cutting 1.2名字起源：  Doug Cutting 的孩子的棕黄色大象玩具的名字 1.3三驾马车： 谷歌的三驾马车：  GFS、MapReduce和BigTable 根据谷歌的三驾马车得到了：HDFS、Hadoop、HBase 1.4hadoop生态圈： HDFS：分布式存储 Yarn：分布式资源...
大数据学习系列：Hadoop3.0苦命学习（一）
sky的博客
05-19 9578
内容包括： （1）Hadoop的介绍 （2）集群环境搭建准备工作 （3）Linux命令和Shell脚本增强 （4）集群环境搭建 Hadoop学习（一）1 大数据概述2 Hadoop介绍2.1 问题一: 大文件怎么存储?2.2 问题二: 大数据怎么计算?2.3 问题三: 如何将这些计算任务跑在集群中?2.4 Hadoop 的组成 1 大数据概述 大数据：就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策。 处理流程： 获取数据 处理数据 展示结果 2 Hadoop介绍 Ha.
大数据之HDFS/Hadoop集群管理
06-09
HDFS是Apache Hadoop项目的一部分，是一个分布式文件系统，用于存储和管理文件，能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统，...
大数据习题集：Hadoop基础知识与HDFS,MapReduce详解
本文档是一份针对大数据学习者设计的大数据练习题集，旨在帮助用户巩固Hadoop技术的基础知识，包括HDFS（Hadoop Distributed File System）和MapReduce。题目涵盖了Hadoop的起源、安装模式、数据类型、HDFS的核心...
Hadoop技术内幕：深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书).mobi
07-05
Hadoop技术内幕：深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍，非扫描版，使用kindle可以打开，也可以转换为epub使用ibooks打开
分布式存储-HDFS
mizui_i的博客
12-07 1808
一.特点 高容错和高可用性 流式数据访问 弹性存储,支持大规模数据集 简答一致性模型(一次写,多次读) 移动计算而非移动数据 协议和接口多样 多样的数据管理功能 二.架构设计 2.1核心组件 NameNode(NN) 元数据管理者,管理NameSpace(文件系统命名空间)记录文件是如何切分并存储在那些节点上的一些信息 NameSpace上任何属性的更改都由NameNode记录,维护整个系统的文件和目录. DataNode(DN) DN是文件系统的工作节点,根据客户端或者NameN
分布式储存HDFS
假面
12-10 485
hdfs数据块的复制策略？ 数据安全：在某个节点发生故障时，不会丢失数据备份； 网络传输开销：在备份数据同步过程中，尽量减少网络传输中的带宽开销； hdfs调整块的大小会带来哪些影响？ hdfs块太小，会增加程序启动的map数量，增加执行时间，对程序不好，一方面存放大量小文件会占用NameNode中大量内存来存储元数据，而NameNode的内存是有限的，不可取；另一方面文件块过小，寻址时间增...
分布式文件存储系统HDFS
qq_58765786的博客
03-24 6223
1.概念说明 HDFS是Hadoop分布式文件系统 2.特点特征 1.高容错性和高可用性，硬件错误是常态而不是异常 2.流式数据访问 3.弹性存储，支持大规模数据集 4.简单一致性原则 5.移动计算而非移动数据 6.协议和接口多样性 7.多样的数据管理功能 3.应用场景 各大电信运营商 中大型互联网公司，如BAT、京东、乐视、美团等 金融银行保险类公司 各大云平台底层存储平台 其他本地系统无法承载存储能力的应用 4.代码实现 public class ReadFromHdf
Hdfs分布式文件存储系统
weixin_56345512的博客
10-27 268
3.Standby NameNode的磁盘元数据和Active NameNode的磁盘元数据是不一样的，因为谁是Active谁才会在磁盘中写入元数据，并实时写入QJM。2.Standby NameNode 的内存元数据和Active NameNode的内存元数据一模一样，当Active宕机时可以随时顶替成为新的Active.3.将文件与块的映射关系存入内存与磁盘，但是块与DataNode的映射关系只存入内存，因为DataNode可能会宕机，这层关系持久化无意义。
HDFS分布式存储文件系统
qq_27924553的博客
08-01 435
1.1、HDFS架构 HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。 一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。 NameNode是一个中心服务器，负责管理文件系统的名字空间 (Namespace )及客户端对文件的访问。 集群中的DataNode一般是一个节点运行一个DataNode进程，负责管理它所在节点上的存储。 1.2、
hadoop 的HDFS 分布式存储系统
wuzhilon88的专栏
12-15 6537
学了一个星期了hadoop了，该进行对学习的一些东西进行总结一下，当时复习了。第一步当然是先把hadoop开发环境搭建起来并运行 HDFS和maoReduce是hadoop的核心组成吧，也是hadoop的基础，我也是一直在学习这方面的知识，通过一些文档和视频教程进行学习。一句话描述下hadoop的HDFS：就是把大文件或大数据存放在很多节点的数据块中。文件、节点、数据块 HDFS就是围绕着这
HDFS的存储原理
weixin_49107940的博客
09-16 1547
在hdfs中，文件是被划分了一堆堆的block块，那如果文件很大、以及文件很多，Hadoop是如何记录和整理文件和block块的关系呢？对于已经存在HDFS的文件，修改dfs.replication属性不会生效，如果要修改已存在文件可以通过命令。edits文件，是一个流水账文件，记录了hdfs中的每一次操作，以及本次操作影响的文件其对应的block。除了配置文件外，我们还可以在上传文件的时候，临时决定被上传文件以多少个副本存储。将全部的edits文件，合并为最终结果，即可得到一个FSImage文件。
Hadoop HDFS分布式文件系统特点
weixin_33924312的博客
05-21 556
Hadoop HDFS分布式文件系统具有如下特点：1.非常适合PB级以上海量数据的存储和处理，已在Yahoo、亚马逊、Facebook、百度、淘宝等海量数据处理平台上得到了广泛验证。2.系统可以扩展性高，只需要简单添加服务器数量，即可实现存储容量和计算能力的线性增长。3.数据冗余度高,缺省每份数据在3台服务器上保留副本。4.适合/流式访问(Streaming access),...
HDFS小结(分布式存储)
背着梦的幸存者
10-14 941
绪论 1、HADOOP的历史 2、HDFS存储原理 2.1、各个角色的作用 2.1.1、NameNode 2.1.2、DataNode 2.1.3、SecondaryNameNode 2.1.4、ZKFC 2.1.5、JournalNode 2.1.6、Standby状态的NameNode（备用Nam
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值