HDFS四大机制之安全模式

一篇文章彻底理解 HDFS 的安全模式 阅读详情

集群的一种自我保护模式 namenode 
集群再安全模式下不允许用户的相关的操作的
什么情况下 hdfs会进入安全模式?
    1)集群启动的时候进入安全模式
    集群的启动顺序:
        namenode---》 datanode---》 secondarynamenode
        集群再启动namenode和datanode的时候一直处于安全模式的
    集群启动的时候的做了哪些事情?
        1)启动namenode
            namenode启动的时候将磁盘中的元数据加载到内存中一份
            为了快速加载   只会加载 抽象目录树   数据和块的对应关系 元数据信息
        2)启动datanode
            每一个启动完成datanode  这个datanode立即向namenode发送心跳  发送块报告信息
            namenode接受datanode的心跳报告   统计块报告 添加上块的每一个副本的存储节点   块的存储位置
        3)启动secondarynamenode 
            secondarynamenode 启动完成 向 namenode发送心跳
    集群启动过程中   执行步骤1 步骤2 的时候  进行namenode元数据的完善阶段  这个时候集群不能对外提供服务的  处于自我保护的状态   安全模式
    
    2)集群运行过程中也有可能进入安全模式
        1)集群的块的汇报率  < 99.9%
        2)datanode节点的汇报个数小于设置 
        3)namenode的元数据的存储目录的大小  <100m
    
集群什么时候会离开安全模式:
    集群处于安全模式的时候 对元数据相关信息做哪一些检查
    检查项目:
        1)每一个数据块的最小副本个数  保证有一个可用就可用
        <property>
          <name>dfs.namenode.replication.min</name>
          <value>1</value>
          <description>Minimal block replication. 
          </description>
        </property>
        2)可用数据块的汇报率    保证集群中的99.9%的数据块是可用的(每一个数据块只保证1个副本) 
        集群中 总数据块(除了副本 不同blockid的)1000
        进行块报告的时候  接受  0.999*1000=999个
        <property>
          <name>dfs.namenode.safemode.threshold-pct</name>
          <value>0.999f</value>
          <description>
            Specifies the percentage of blocks that should satisfy 
            the minimal replication requirement defined by dfs.namenode.replication.min.
            Values less than or equal to 0 mean not to wait for any particular
            percentage of blocks before exiting safemode.
            Values greater than 1 will make safe mode permanent.
          </description>
        </property>
        
        3)可用的最小节点个数  默认0个
        <property>
          <name>dfs.namenode.safemode.min.datanodes</name>
          <value>0</value>
          <description>
            Specifies the number of datanodes that must be considered alive
            before the name node exits safemode.
            Values less than or equal to 0 mean not to take the number of live
            datanodes into account when deciding whether to remain in safe mode
            during startup.
            Values greater than the number of datanodes in the cluster
            will make safe mode permanent.
          </description>
        </property>
        4)安全模式的停留时长
        <property>
          <name>dfs.namenode.safemode.extension</name>
          <value>30000</value>
          <description>
            Determines extension of safe mode in milliseconds 
            after the threshold level is reached.
          </description>
        </property>
        5)检查元数据存储的文件夹大小  默认100m
        <property>
          <name>dfs.namenode.resource.du.reserved</name>
          <value>104857600</value>
          <description>
            The amount of space to reserve/require for a NameNode storage directory
            in bytes. The default is 100MB.
          </description>
        </property>
    符合以下的要求  才会离开安全模式:
        1)数据块的汇报率(每一个数据块最少保证1个副本)达到>=99.9%
        2)datanode的节点个数达到配置要求的时候  默认是0个
        3)当前两个条件都满足的时候  保证安全模式30s 保证集群数据汇报稳定的时候
        4)保证namenode每一个元数据的文件夹的存储预留大小达到100M 以上
        四个条件  同时满足的时候 才会离开安全模式


手动进入安全模式的命令:
    一般情况下 集群升级的时候  hadoop2.7-->hadoop2.8 一般将集群进入安全模式或者集群维护
    hdfs dfsadmin -safemode get/leave/enter/wait 
    hdfs dfsadmin -safemode get  获取集群的当前的安全模式的状态
        Safe mode is OFF   安全模式关闭的
    hdfs dfsadmin -safemode enter  进入安全模式
        Safe mode is ON
    hdfs dfsadmin -safemode leave 离开安全模式
    hdfs dfsadmin -safemode wait  等待安全模式离开  
在安全模式操作:
    在安全模式下不是所有的操作都不能执行的
    可以执行的操作
        hadoop fs -ls /
        hadoop fs -get /hadoop6 /home/hadoop/apps
        hadoop fs -cat /hdfs-site.xml
        hadoop fs -tail /hdfs-site.xml
        这些操作查询相关的
        只要不修改元数据的操作都可以执行
            元数据1)目录树 2)文件--块  3)块的位置
    不可以执行的操作
        只要修改元数据的操作都不能执行
        hadoop fs -put Local  hdfs 
        hadoop fs -mkdir /dd
        hadoop fs -touchz /rr
        hadoop fs -rm -r -f 
        ....

HDFS的安全模式 文章目录hdfs 安全模式1 hdfs介绍2 hdfs 安全模式什么时候启动3 hdfs 安全模式的作用4 hdfs的文件权限验证5 hdfs安全模式的命令 hdfs 安全模式 1 hdfs介绍 安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。 2 hdfs 安全模式什么时候启动 在NameNode主节点启动时,HDFS首先进入安全模式,... 阅读详情

相关推荐

HDFS四大机制的总结

这篇文章主要就HDFS的四大机制来做一些较为详细的说明。 HDFS的四大机制:心跳机制(heartbeat)、安全模式、副本存放策略(机架策略)、负载均衡。 四大机制 1.心跳机制(heartbeat): (1)hadoop是一个Master/Slave结构,Master中有NameNode和ResourceManager,Slave中有DataNode和NodeManager; (2)Maste...

Master chy 897

hdfs的安全模式

1)什么是hdfs的安全模式 Hdfs进入安全模式之后,客户端只能对hdfs的文件进行读操作,不能进行修改,删除,移动,重命名等操作。 2)什么条件下hdfs会进入安全模式 第一,在hdfs集群启动的时候进入安全模式; 第二,手动进入安全模式 启动刚刚进行过格式化的hdfs集群时,不会进入安全模式,因为还没有数据块 3)hdfs进入安全模式之后会做些什么 第一,namenode合并fsimage和editlog文件,启动namenode节点后,会读取fsimage文件到内存,并执行editlog文件的操作,

one-piece-luka的博客 1508

【hadoop】关于HDFS的四大机制与两大核心

文章目录 hdfs是hadoop 生态系统的一部分,主要功能是为大数据的处理提供分布式存储的环境,关于hdfs的理解,先来看一张图 hdfs的四大机制和两大核心: hdfs 提供的是高容错性的分布式的数据存储方案, ...

qq_43390943的博客 1876

聊聊HDFS安全模式的问题

最近在做一些Hadoop项目的时候,会遇到HDFS安全模式的问题,相信写代码的小伙伴们也遇到过这种问题。 在一些场景之下,比如 集群启动后,可以查看目录,但是上传文件时报错,打开 Web 页面可看到 NameNode 正处于 SafeMode 状态,怎么处理? SafeMode 是 NameNode 的一种特殊状态(Active/Standby/SafeMode 安全模式),在这种状态下,文件系统只接受读数据请求(ls、cat),而不接受上传、删除、修改等变更请求。 在 NameNode 主节点启动时,

wenqi 855

解决鸿蒙/荣耀设备GMS应用调试中的“Play保护机制认证”报错

本文详细解析了在鸿蒙或荣耀设备上调试GMS应用时,遇到“Play保护机制认证”报错的根本原因与解决方案。核心在于获取设备的GMS Device ID,并通过Google官方渠道完成临时注册,从而绕过认证限制。文章提供了无需Root和ADB查询两种具体方法,并分享了授权后的故障排查与实战经验,帮助开发者高效解决问题。

weixin_29288313的博客 300

大模型越狱指令数据集全解析:从AdvBench到HarmBench

本文全面解析了AdvBench、HarmBench等主流大模型越狱指令数据集。AdvBench作为基础测试集,用于快速评估模型安全基线;HarmBench则以其全面的文本、多模态及对抗性攻击评估,成为当前权威的深度安全审计工具。文章还介绍了MaliciousInstruct、JailbreakBench等特色数据集,并提供了根据实际场景选择与使用这些数据集的具体实战指南。

weixin_29327525的博客 621

namenode安全模式问题

当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求 在正常情况下,namenode也有可能进入安全模式: 集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间) 也确实有异常情况下导致的安全模式 原因:block确实有缺失

tianqinglei的博客 8020

香橙派OPi 6系列选型指南:RK3588与RK3588S开发板深度对比

开发板选型是嵌入式系统设计的关键环节,尤其在边缘计算和AI推理等场景中,芯片的差异直接影响硬件架构。瑞芯微RK3588及其精简版RK3588S是当前高端开发板的核心方案,两者在PCIe通道、显示输出和SATA支持上存在显著区别。理解这些原理,有助于工程师根据项目需求快速匹配产品。香橙派OPi 6系列基于这两款芯片,衍生出OPi 6、OPi 6 Pro与OPi 6 Max三种形态:紧凑型适合嵌入式门禁与AI盒子,Pro版凭借双屏异显和PCIe 3.0满足收银机与视频分析,Max的双2.5G网口和大内存则面向轻

weixin_29185167的博客 228

HDFS的四大机制

(1)心跳机制:   介绍: hdfs是主从架构,所有为了实时的得知dataNode是否存活,必须建立心跳机制,在整个hdfs运行过程中,dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。    心跳内容:      - 报告自己的存活状态,每次汇报之后都会更新维护的计数信息      - 向nameNode汇报自己的存储的block列表信息    心跳报告周...

xiaohao95的博客 993

Xilinx PCIe IP核示例工程仿真流程与关键任务解析

本文详细解析了Xilinx PCIe IP核示例工程的仿真流程与关键任务。通过搭建仿真环境、解读初始化日志,并深入剖析TSK_TX_MEMORY_WRITE_32等核心任务的TLP报文生成与交互过程,帮助开发者掌握PCIe IP核的仿真调试方法,为实际硬件设计提供可靠的验证基础。

weixin_28314575的博客 508

Linux Component概述和高通component的使用

为了让subsystem按照一定顺序初始化设备才提出来的。subsystem中由很多设备模块,内核加载这些模块的时间不确定。子系统内有些模块是需要依赖其它模块先初始化才能进行自己初始化工作(例如v4l2 subdev和v4l2 video device),这时就要用到component框架。例如v4l2 subdev和v4l2 video device中,谁依赖谁先创建?

lz_1990的专栏 1610

HDFS 的四大核心设计

HDFS 的四大核心设计1、心跳机制(heartbeat)(通信)2、HDFS 副本存放策略(机架策略)3、HDFS 安全模式4、负载均衡 1、心跳机制(heartbeat)(通信) 1、谈及HDFS的心跳机制,首先要从HDFS的架构说起,HDFS的一主(Namenode)多从(Datanode),namenode管理datanode的空间(块信息)等。 2、namenode怎么实现管理? datanode定期向namenode进行传递信息,发送心跳报告,目的: (1)向namenode汇报自己的存活状态。

weixin_44387652的博客 474

JFET放大电路实例设计仿真

参照《晶体管电路设计》中的例子 JFET 2SK184 JFET 2SK184 数据手册如下 电路设计 共源放大 步骤:1、静态工作点 2N4416 1ma 2、RD和RS A=5 5:1 RS 2V /1m=2k RD 5k 3、偏压VG 根据传输特性 VGS-ID vgs=-0.7 vg=2-0.7=1.3 400k^2/50k...

f的博客 7441

怎么设置某个用户生成hdfs文件的权限_HDFS四大机制和三大核心

hdfs提供的是高容错性的分布式的数据存储方案。hadoop集群启动的时候,各个进程启动的顺序:namenodedatanodesecondarynamenode一、4大机制(1)心跳机制:集群节点之间必须做时间同步。namenode是集群的老大,负责集群上任务的分工,如果要进行分工,则必须知道各个从节点的存活状况。namenode怎么知道?通过datanode定期的向namenode发送心跳报告...

weixin_39922476的博客 239

IDCNBSAIS-财务报表功能范围取值管理费用、销售费用、研发费用排除指定科目的实现

研究了很多方法,没有办法实现,只在营业费用增加一个冲抵项解决,也咨询了外部顾问说要建立自建表。限于需要马上修正后面只能用了最最low的办法处理了一下。公司遇到的一个问题,目前报表有些项目是按照功能范围取值的,发现取多了。IDCNBSAIS-财务报表功能范围取值管理费用、销售费用、研发费用排除指定科目的实现。最后结果是正确的,但是总觉得有更好的办法,不知道有没有高人可以指点一下?建立一个调整项的目录,在每个节点做了调整。除了研发费用做了冲抵在以下每个节点都做了冲抵。为财务报表定义表格结构。

nopicture的博客 1493

Spark中Application、Job、Stage和Task区别详解

在Spark中,有一些关键的概念,如Application、Job、Stage和Task,它们描述了Spark作业的不同层次和组成部分。下面我将详细介绍每个概念,并通过示例说明它们之间的区别。

优快云 精品推荐 904

hdfs四大机制

1 心跳机制 重点:两个参数和namenode判定datanode宕机所需的时间 因为hdfs具有心跳机制,所以在搭建分布式集群时,必须进行时间同步。 心跳机制的原因:namenode是集群中的老大,负责进行任务分工,要进行分工,必须知道各个datanode结点的存活状态。 namenode怎么 知道datanode的存活状态?datanode每隔一定时间向namenode发送一次心跳报告,目的就...

张之海的博客 1395

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

ambari hdfs 启动报错_HDFS四大机制和三大核心

hdfs提供的是高容错性的分布式的数据存储方案。hadoop集群启动的时候,各个进程启动的顺序:namenodedatanodesecondarynamenode一、4大机制(1)心跳机制:集群节点之间必须做时间同步。namenode是集群的老大,负责集群上任务的分工,如果要进行分工,则必须知道各个从节点的存活状况。namenode怎么知道?通过datanode定期的向namenode发送心跳报告...

weixin_29818013的博客 430

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Hadoop--HDFS四大机制

Hadoop–HDFS四大机制 文章目录Hadoop--HDFS四大机制一:心跳机制二:机架策略三:安全模式问题引出:namenode 进入安全模式的原理:正常启动的时候进入安全模式的原理:四:负载均衡1) 保证动态的均衡(不均衡会影响集群性能)2) 如何手动实现负载均衡?(移动block块 --> 整个集群性能)1.设置峰值和谷值之间的差2.设置阈值(达到这个阈值才会负载均衡) 默认10...

ITgagaga的博客 590

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

hdfs的四大机制和两大核心

四大机制: (1)心跳机制:   介绍: hdfs是主从架构,所有为了实时的得知dataNode是否存活,必须建立心跳机制,在整个hdfs运行过程中,dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。    心跳内容:      - 报告自己的存活状态,每次汇报之后都会更新维护的计数信息      - 向nameNode汇报自己的存储的block列表信息 ...

weixin_43909426的博客 448

Hadoop-HDFS四大机制和两大核心以及元数据合并

HDFS四大机制:心跳机制,安全机制,机架策略(副本存放策略),负载均衡。 HDFS两大核心:文件上传和文件下载 1.HDFS四大机制 HDFS四大机制:心跳机制,安全机制,机架策略(副本存放策略),负载均衡。 (1)心跳机制: 介绍: hdfs是主从架构,所有为了实时的得知dataNode是否存活,必须建立心跳机制,在整个hdfs运行过程中,dataNode会定时的向nameNode发送心跳报告...

qichangjian的博客 1664

hdfs四大核心

hdfs的四大核心设计: 心跳机制、安全模式、机架策略、负载均衡 1.心跳机制 1、 Hadoop 是 Master/Slave 结构,Master 中有 NameNode 和 ResourceManager,Slave 中有 Datanode 和 NodeManager 2、 Master 启动的时候会启动一个 IPC(Inter-Process Comunication,进程间通信)serve...

jump_tigris的博客 765

hadoop04——HDFS的四大机制和两大核心

hadoop04——HDFS的四大机制和两大核心 四大机制 1.心跳机制 HDFS中,NameNode负责管理元数据(DataNode),DataNode负责管理数据,为了及时确认每个DataNode是否在工作,DataNode每隔3秒,会向NameNode发送一个心跳报告,告知NameNode自己的存活情况和可用空间。在默认的情况下这个间隔就是3秒,也可以通过修改配置文件中的dfs.heartb...

qq_30150845的博客 620

hadoop启动后没有namenode_hadoop四大机制两大核心

hdfs的4大机制,2大核心hdfs提供的是高容错性的分布式数据存储方案一、四大机制hdfs的四大机制包括心跳机制、安全模式、机架策略和负载均衡。hadoop集群start-dfs.sh启动集群时,各进程启动的顺序: namenode datanode secondarynamenode 1.1 心跳机制 集群节点之间必须做时间同步,namenode是集群的老大,负责...

weixin_39662263的博客 346

HDFS的四大机制

hdfs的四大机制: 心跳机制: hdfs主从架构 主namenode 从datanode 在hdfs的整个运行过程中需要datanode定时的向namenode发送心跳报告 namenode可以通过心跳报告确定datanode是可以正常工作的 发送心跳报告的作用: 1)报告自己的存活状况 2)报告自己的块信息 心跳报告的周期:3s 不能过长 不能太短 查看心跳间隔的 源代码: &amp;amp;lt;...

lv_hulk的博客 1150
上一篇: HDFS四大机制之负载均衡
下一篇: HDFS两大核心之文件上传&下载
wangmate
博客等级 码龄9年 6粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值