HDFS如何保证数据安全性

最新推荐文章于 2024-09-12 09:54:24 发布
最新推荐文章于 2024-09-12 09:54:24 发布
阅读量1.5k 收藏
点赞数 2
文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/abc5254065/article/details/112983047
版权
本文详细解读了HDFS的Master/Slave架构，包括NameNode与DataNode的角色分工，文件分块存储的容错策略，以及Safemode模式下数据备份和元数据管理。重点介绍了DataNode的心跳机制、数据副本分布和块信息报告机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. HDFS是典型的Master/Slave架构，它往往是一个NameNode加多个DataNode组成，NamNode是集群的；且HDFS中分块存储的，为了容错文件，每个Block都会有副本
  2. 第一个副本一般放置在客户端所在的节点上（若客户端无DataNode，则随机放），第二个副本放置到与第一个副本同一机架的不同节点上，第三个副本放到不同机架的DataNode节点，当取用时遵循就近原则
  3. DataNode已Block为单位，每3s报告心跳状态，若10min内不报告心跳状态则NameNode认为Block已死掉，NameNode会把其上面的数据备份到其他一个DataNode节点上，保证数据的副本数量
  4. DataNode会默认每小时把自己节点上的所有块状态信息报告给NameNode
  5. 采用Safemode模式：DataNode会周期性的报告Block信息且HDFS元数据采用SecondaryNameNode备份或者HA备份
HDFS如何保证数据的完整性
Enzo的探索之路
12-02 3592
总的来说，HDFS 会对写入的数据计算校验和，并在读取数据时验证校验和。 具体来说，datanode 负责收到数据后存储该数据及其校验和。datanode 的数据来源可分为两种：其一为是从客户端收到的数据，其二为从其他 datanode 复制来的数据。还有一种情况，客户端将数据及其校验和发送到由一系列 datanode 组成的管线，管线中最后一个 datanode 负责验证校验和。 每个 data...
HDFS保证数据一致性与容错机制
ThreeAspects的博客
05-07 3101
HDFS保证数据一致性HadoopNameNode保证元数据的一致性校验和HA高可用冗余副本机架感知心跳机制安全模式校验和回收站元数据保护快照机制 Hadoop   HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNod...
HDFS 怎么保证数据安全？
热门推荐
Shockang的博客
06-05 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 数据安全的四大核心功能如下所示 认证(authentication) 认证指的是向一个系统或是用户提出怀疑，让其证明自己的身份。只有经过认证的身份才被允许进入到数据系统。 Hadoop中的认证主要有两种， 简单认证和例认证。前者是一种宽松的安全体系，它信任用户自己宣称的身份。 而后者则使用像 Kerb
HDFS是如何保证数据安全的
m0_72324953的博客
01-07 1172
元数据安全 数据块安全
存储在HDFS上的文件，存储机制及数据安全性如何保证。
haoran_gao的博客
11-12 7961
HDFS是一种分布式存储系统， 它把大文件分块存储在网络的机器中，它采用主从结构（master/slave). 通过一些后台进程来管理文件的存储：Namenode, Datanode,SecondaryNamenode. NameNode结构图如下： NameNode维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件
HDFS如何保证数据不丢失 ？
weixin_54673909的博客
09-12 605
通过这些机制，HDFS能够在面对硬件故障、网络问题和其他常见故障时，保护数据不丢失，确保数据的高可用性和可靠性。
存储/缓存技术中的HDFS 的多安全级数据销毁机制设计（二）
10-20
虽然硬销毁技术能绝对保证删除的数据安全，但是因为完全破坏了存储介质，导致设备不能重复使用，这对于HDFS 是不能接受的，也是基本不能实现的。 　软销毁技术，主要是通过软件的方法删除数据。 　软销毁技术中的...
论文研究-基于HDFS的分布式数据安全存储模型 .pdf
08-27
基于HDFS的分布式数据安全存储模型是针对Hadoop分布式文件系统（HDFS）在海量数据存储方面的应用，以及数据安全性的提升而提出的。该模型利用HDFS作为分布式数据存储平台，并结合XML格式的物理存储结构，对数据文件...
HDFS采用那些机制保证数据的安全性
最新发布
12-08
Hadoop Distributed File System (HDFS) 采用了多种机制来保障数据的安全性： 1. **复制因子（Replication Factor）**：HDFS的核心特性就是数据冗余。每个块会被复制到集群的不同节点上，这被称为"副本"。默认情况...
【HDFS HA的安全性加固】：实施最佳实践确保数据安全无忧
[【HDFS HA的安全性加固】：实施最佳实践确保数据安全无忧](https://k21academy.com/wp-content/uploads/2018/09/HadoopSecurity.png) # 1. HDFS HA的安全性挑战 随着大数据生态的蓬勃发展，Hadoop分布式文件系统...
大数据处理之如何确保断电不丢数据
很多时候，你缺少的不是知识而是热情
11-12 5145
今年7、8月份杭州实行拉闸限电时，导致阿里余杭机房的机器意外断电，造成HDFS集群上的部分数据丢失。 在Hadoop 2.0.2-alpha之前，HDFS在机器断电或意外崩溃的情况下，有可能出现正在写的数据丢失的问题。而最近刚发布的CDH4中HDFS在Client端提供了hsync()的方法调用(HDFS-744)，从而保证在机器崩溃或意外断电的情况下，数据不会丢失。这篇文件将围绕这个新的接
HDFS的可靠性策略
Brucexyao的博客
09-25 1302
HDFS的可靠性策略是由多个机制共同维护的，可靠性体现在不同的状况下，下面我们来简单讲讲。 一、文件的完整 1、在文件刚刚开始建立的时候，文件中的每个数据块都会产生一个校验和(checksum)，这个校验和会保存在.meta文件内部。 2、客户端获取数据的时候会和这个校验和进行对比，检查是否相同，从而发现数据块是否损坏。 2、如果说正在读取的数据块损坏，则可以读取其他副本。接着NameNode会标记该block块已经损坏，然后复制该block达到预期设置的文件备份数。 4、DataNode在其文件创建后三周
简述HDFS的系统架构，以及如何保证数据安全
m0_51697147的博客
12-05 187
简述HDFS的系统架构： HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNo...
HDFS数据安全性如何保证
wsong_14的博客
09-23 5207
HDFS数据安全性如何保证 1)、存储在HDFS系统上的文件，会分割成128M大小的block存储在不同的节点上，block的副本数默认3份，也可配置成更多份； 2)、第一个副本一般放置在与client（客户端）所在的同一节点上（若客户端无datanode，则随机放），第二个副本放置到与第一个副本同一机架的不同节点，第三个副本放到不同机架的datanode节点，当取用时遵循就近原则；
hdfs的八大安全和可靠策略总结和设计基础与目标
小爷欣欣
05-03 1534
hdfs 全称：Hadoop Distributed File System Hadoop分布式文件系统设计基础与目标:a: 硬件错误是常态。因此需要冗余 冗余对hadoop来说不是额外功能，而是本身就需要的一个功能,这个很好理解,就是因为各个节点容易断掉,为了数据的安全性和可维护性,故需要冗余。b:内存的不稳定，cpu过热，硬盘损坏等等，节点duan掉。 c:流式数据访问。即数据批量读取而非随机...
HDFS 优缺点介绍和安全模式介绍
hongchenshijie的博客
11-05 614
HDFS 优点(特性) 1.海量数据的存储 (1)数据 : HDFS可横向扩展,其存储的文件可以支持到PB级别 (2)文件: 处理的文件规模至百万以上. 2.高容错性 节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复,通过增加副本数量来增加容错性默认为3个. 3.大文件存储 DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布式进行存储. 4.可构建在廉价（与小型机大型机...
HDFS的可靠性
Er_fengV的博客
09-01 1425
前言 相信大家对Hadoop不是很陌生了。Hadoop是由java语言所编写，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 我们这块主要来讲讲HDFS的可靠性： 机架策略 冗余副本策略 安全模式 心跳机制 校验和 回收站 元数据 保护快照机制 一、机架策略 HDFS 的"机架感知",通过节点之间发送一个数据包,来感应它们是否在同一个机架 一般在本机架放一个副本,在其他机架再存放一个副本,这样可以防止机架失效时丢失数据,也可以提高带宽利用率 二
HDFS安全---kerberos介绍
breakout_alex的博客
06-03 767
目录 1.HDFS安全介绍 2.Kerberos工作原理介绍　 一. HDFS安全介绍 hadoop有很多不同的发行版，比如：Apache Hadoop，CDH，HDP，MapR，EMR等等，使用这些组件部署的hdfs分布式文件系统时，都会面临很直接的一个安全问题，比如Java大数据开发工程师可以在java源代码中使用“System.setProperty("HADOOP_USER...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值