hdfs安全模式是hadoop的一种数据保护机制,当进入安全模式时,集群处于只读不写的状态,此时集群不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等。
1. 进入安全模式
存在3种情况会遇到安全模式:
1、开启namenode会自动进去安全模式,此时集群启动加载配置文件和fsimage和edtis,加载datanode和块信息,一般等集群校验完数据后会自动退出
2、手动进入
bin/hdfs dfsadmin -safemode enter 进入
bin/hdfs dfsadmin -safemode leave 离开
3、集群开启的后,出现数据不完整,如某台服务器宕机、磁盘空间满了
2. 安全模式在做什么操作
- namenode上有元数据信息,启动的时候要确保这些数据块是否还完整
- namenode在启动的过程中在等待所有的datanode向它汇报块的信息
当发现数据不完整,或者无法写入时自动进入安全模式
3.相关参数和属性配置
HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式
<property>
<name>dfs.namenode.safemode.threshold-pct</name>
<value>0.999f</value>
<description>
Specifies the percentage of blocks that should satisfy
the minimal replication requirement defined by dfs.namenode.replication.min.
Values less than or equal to 0 mean not to wait for any particular
percentage of blocks before exiting safemode.
Values greater than 1 will make safe mode permanent.
</description>
</property>
指定namenode和datanode之间心跳的间隔时间,默认3秒
<property>
<name>dfs.heartbeat.interval</name>
<value>3</value>
<description>Determines datanode heartbeat interval in seconds.</description>
</property>
本文详细介绍了Hadoop中HDFS的安全模式,一种重要的数据保护机制。安全模式下,集群处于只读状态,防止数据在不完整的情况下被修改。文章解释了自动及手动进入安全模式的情况,以及相关参数配置。
922

被折叠的 条评论
为什么被折叠?



