HDFS安全模式

本文详细介绍了Hadoop中HDFS的安全模式,一种重要的数据保护机制。安全模式下,集群处于只读状态,防止数据在不完整的情况下被修改。文章解释了自动及手动进入安全模式的情况,以及相关参数配置。

hdfs安全模式是hadoop的一种数据保护机制,当进入安全模式时,集群处于只读不写的状态,此时集群不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等。

1. 进入安全模式

存在3种情况会遇到安全模式:
1、开启namenode会自动进去安全模式,此时集群启动加载配置文件和fsimage和edtis,加载datanode和块信息,一般等集群校验完数据后会自动退出
2、手动进入
bin/hdfs dfsadmin -safemode enter 进入
bin/hdfs dfsadmin -safemode leave 离开
3、集群开启的后,出现数据不完整,如某台服务器宕机、磁盘空间满了

2. 安全模式在做什么操作

  • namenode上有元数据信息,启动的时候要确保这些数据块是否还完整
  • namenode在启动的过程中在等待所有的datanode向它汇报块的信息
    当发现数据不完整,或者无法写入时自动进入安全模式

3.相关参数和属性配置

HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式

<property>
  <name>dfs.namenode.safemode.threshold-pct</name>
  <value>0.999f</value>
  <description>
    Specifies the percentage of blocks that should satisfy 
    the minimal replication requirement defined by dfs.namenode.replication.min.
    Values less than or equal to 0 mean not to wait for any particular
    percentage of blocks before exiting safemode.
    Values greater than 1 will make safe mode permanent.	
  </description>
</property>

指定namenode和datanode之间心跳的间隔时间,默认3秒

<property>
  <name>dfs.heartbeat.interval</name>
  <value>3</value>
  <description>Determines datanode heartbeat interval in seconds.</description>
</property>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值