Hadoop HDFS
关注
分享
扫一扫
文章平均质量分 82
Hadoop HDFS 分布式数据存储
dessler
一个运维
公众号：《运维小路》
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop HDFS-知识技能图谱（总结篇）
HDFS 是一个分布式、可扩展、高容错性的文件系统，设计用于在廉价商用硬件上运行，并适用于一次写入、多次读取的大规模数据集场景。它是Apache Hadoop项目的核心组件，为整个大数据生态提供了底层存储支撑。原创 2025-10-09 19:58:26 · 953 阅读 · 0 评论 -
Hadoop HDFS-常用运维命令
HDFS命令体系清晰，可以按文件操作、集群管理、权限控制等维度分类。想到用“一句话命令+注释”的形式既能满足简洁性，又保留实用性。需要覆盖最高频的ls、put、get、rm操作，同时补充dfsadmin、du等管理命令。原创 2025-10-08 16:02:53 · 431 阅读 · 0 评论 -
Hadoop HDFS-监控（monitor）
经过前面的介绍，我们对HDFS已经具有基本的操作能力，现在来说说每个中间件都必须要讲解的监控环节。原创 2025-09-29 20:28:38 · 801 阅读 · 0 评论 -
Hadoop HDFS-追加（Append）写入模式
在HDFS中，文件通常被设计为"一次写入，多次读取"（Write Once, Read Many, WORM）。因此，HDFS本身不支持对已有文件进行修改，包括在文件末尾追加数据。但是，从Hadoop 0.20.205版本开始，HDFS支持追加写入（append）功能，不过默认情况下是关闭的。在较新的版本中，追加写入功能是开启的。原创 2025-09-28 22:34:53 · 286 阅读 · 0 评论 -
Hadoop HDFS-认证（Kerberos） 部署与配置
上个小节，我们介绍了kerberos这个网络认证协议，本小节我们就来进行kerberos的部署。原创 2025-09-27 16:46:21 · 633 阅读 · 0 评论 -
Hadoop HDFS-认证（Kerberos） 简介及入门
前面我们介绍了HDFS的用户概念，很多的时候就是为了权限控制，但是HDFS超级管理员的本质由配置决定，而非用户本身。手动创建 hdfs 用户不会自动获得超管权限，需同时满足以下条件：进程启动身份：NameNode 必须由 hdfs 用户启动（关键！）超级组声明：在 hdfs-site.xml 声明超级组用户组归属：hdfs用户需在 supergroup 组中原创 2025-09-26 21:50:47 · 374 阅读 · 0 评论 -
Hadoop HDFS-用户 （User）
我们上个小节介绍了回收站的功能，在里面提到一个用户的概念，这个概念在回收站里面其实就是涉及到一个目录问题。原创 2025-09-25 20:28:45 · 833 阅读 · 0 评论 -
Hadoop HDFS-回收站（Trash）
我们在使用Linux的服务器里面是没有回收站这个概念的（Windows是有这个概念的）。上个小节我们已经介绍了HDFS可用使用快照方式来保护我们的数据，今天我们来介绍另外方式就是回收站，他就和Windows回收站类似，当然也有不一样的地方，下面我们就来详细介绍。原创 2025-09-24 22:38:19 · 332 阅读 · 0 评论 -
Hadoop HDFS-快照（Snapshots）
前面讲了很多HDFS的基本操作，并且其他软件也讲解过快照的相关概念：kvm-快照，ZooKeeper-快照。本小节我们来讲解HDFS的快照。原创 2025-09-23 20:37:40 · 439 阅读 · 0 评论 -
Hadoop HDFS-配额（Quotas）
HDFS作为一个类Linux的目录的树形目录，我们业务在使用HDFS的时候也会根据不同的应用放置在不同的目录，或者不同环境使用不同的目录，实际这个和ZooKeeper的目录结构结构类似。我们对单个目录的限制，就是我们要讲的配额内容。原创 2025-09-22 23:29:17 · 997 阅读 · 0 评论 -
Hadoop HDFS-端口&web管理
我们的高可用集群部署完成以后，不同的进程会监听不同的端口，下面我们就来详细介绍下端口原创 2025-09-21 18:08:45 · 372 阅读 · 0 评论 -
Hadoop HDFS-读写流程
当客户端需要向HDFS写入数据时，会经历以下步骤：原创 2025-09-19 22:19:55 · 798 阅读 · 0 评论 -
Hadoop HDFS-设计哲学（分块&副本）
在传统的Linux里面，我们受限物理磁盘，我们无法生成或者使用一个很大的文件，虽然我们可以通过命令对文件进行切割和组合（Linux进阶命令-split），但是这里的只是实现切割，如果要使用还得重新组合在一起，而不能实现计算或者使用的时候直接调用这个多个块文件。我们今天来讲解的HDFS就具有这个能力。原创 2025-09-18 22:25:11 · 1122 阅读 · 0 评论 -
Hadoop HDFS-高可用集群验证
上个小节我们部署了3个节点的HDFS高可用集群，本小节我们就来介绍各个组件是怎么来实现高可用的。原创 2025-09-17 21:00:43 · 320 阅读 · 0 评论 -
Hadoop HDFS-高可用集群部署
前面介绍高可用集群部署的几个组件，本小节就以常见的3节点来搭建一个高可用的HDFS集群。基于下面的规划来实现（实际为了简单，这里的ZooKeeper使用的单节点）。由于进程比较多，所以我这里给了每台机器8G内存，实际4G应该也可以。原创 2025-09-16 20:59:28 · 1015 阅读 · 0 评论 -
Hadoop HDFS-ZKFailoverController（ZKFC）详细介绍
前面3个小节，我们介绍了单机情况下的HDFS的3个组件，其中nn和dn无论单机还是集群都是需要的，而2nn则只在单机下才有用，后面几个我们将介绍高可用集群模式涉及到的几个组件：JournalNode,ZKFailoverController（ZKFC）,本小节介绍：ZKFC。原创 2025-09-14 19:17:15 · 743 阅读 · 0 评论 -
Hadoop HDFS-JournalNode（jn）详细介绍
前面3个小节，我们介绍了单机情况下的HDFS的3个组件，其中nn和dn无论单机还是集群都是需要的，而2nn则只在单机下才有用，后面几个我们将介绍高可用集群模式涉及到的几个组件：JournalNode,ZKFailoverController（ZKFC）,本小节介绍：JournalNode。原创 2025-09-04 19:46:54 · 965 阅读 · 0 评论 -
Hadoop HDFS-SecondaryNameNode（2nn）详细介绍
前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是SecondaryNameNode。原创 2025-09-03 20:44:02 · 992 阅读 · 0 评论 -
Hadoop HDFS-DataNode（dn）详细介绍
前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是DataNode。原创 2025-09-01 22:57:47 · 662 阅读 · 0 评论 -
Hadoop HDFS-NameNode（nn）详细介绍
前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是NameNode。原创 2025-08-28 20:33:45 · 915 阅读 · 0 评论 -
Hadoop HDFS-部署和基本操作
我们前面介绍Hadoop的相关软件以及我们要讲解的HDFS，本小节就来讲讲基本部署操作。原创 2025-08-16 17:25:27 · 378 阅读 · 0 评论 -
Hadoop HDFS-基本介绍
上个小节我们介绍Hadoop生态的核心软件以及其他相关辅助软件，从本小节开始我们就来介绍其中普通运维最容易接触到的软件：HDFS。原创 2025-08-14 20:50:31 · 626 阅读 · 0 评论 -
Hadoop 三件套：存、算、调度的分布式基石
上个小节我们介绍消息队列软件，本章进入大数据章节，会涉及到多个软件。但是我们这里主要讲解的HDFS。原创 2025-08-13 21:21:06 · 833 阅读 · 0 评论