hadoop secondnamenode配置

   一、secondnamenode是做什么的

    

 The Secondary Namenode is a helper to the primary Namenode.
 The Secondary is responsible for supporting periodic checkpoints
 of the HDFS metadata. The current design allows only one Secondary
 Namenode per HDFs cluster.

 The Secondary Namenode is a daemon that periodically wakes
 up (determined by the schedule specified in the configuration),
 triggers a periodic checkpoint and then goes back to sleep.
 The Secondary Namenode uses the ClientProtocol to talk to the
 primary Namenode.

 

 

 

   二、将hadoop的namenode和secondnamenode分离在不同的服务器上

   

   1. master

    将secondnamenode的ip配置在master中

   2.hdfs-site.xml

      将namenode配置在hdfs-site.xml中

<property> 
  <name>dfs.http.address</name> 
  <value>slave-01:50070</value> 
  <description> 
    The address and the base port where the dfs namenode web ui will listen on. 
    If the port is 0 then the server will start on a free port. 
  </description> 
</property>

    3.core-site.xml

<property> 
  <name>fs.checkpoint.period</name> 
  <value>3600</value> 
  <description>The number of seconds between two periodic checkpoints. 
  </description> 
</property>

<property> 
  <name>fs.checkpoint.size</name> 
  <value>67108864</value> 
  <description>The size of the current edit log (in bytes) that triggers 
       a periodic checkpoint even if the fs.checkpoint.period hasn't expired. 
  </description> 
</property>

    fs.checkpoint.period表示多长时间记录一次hdfs的镜像

    fs.checkpoint.size表示一次记录多大的size,默认64M

 

 

 

 

 

 

 

排查 Hadoop 配置文件错误以解决 File 只能写入 0 个节点,0 个 DataNode 运行的问题,可从以下方面入手: #### 检查关键配置参数 查看 `hdfs-site.xml` 和 `core-site.xml` 等核心配置文件,确保关键参数配置正确。例如,检查 `dfs.namenode.name.dir` 和 `dfs.datanode.data.dir` 是否指向正确的目录,且这些目录有足够的权限和空间。若配置了 `dfs.datanode.du.reserved` 参数,要确保其值合理,避免因预留磁盘空间过大导致 HDFS 读取硬盘出错,如配置了 500g 的预留磁盘,而总共硬盘才 500g,就会引发问题 [^4]。 ```xml <!-- hdfs-site.xml 示例 --> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/datanode</value> </property> ``` #### 检查节点地址和端口 确认 `core-site.xml` 中的 `fs.defaultFS` 参数配置NameNode 地址和端口正确,以及 `hdfs-site.xml` 中 DataNode 相关的地址和端口配置无误。 ```xml <!-- core-site.xml 示例 --> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> ``` #### 对比节点间配置文件 在完全分布式模式下,要保证所有节点(如 NameNodeSecondNameNode 和 DataNode)的配置文件一致。可使用 `diff` 命令对比不同节点上的配置文件,确保没有差异。 ```bash diff /path/to/hdfs-site.xml node1:/path/to/hdfs-site.xml ``` #### 查看日志文件 查看 Hadoop 各组件的日志文件,如 NameNode 和 DataNode 的日志,从中获取错误信息和警告。日志文件通常位于 `$HADOOP_LOG_DIR` 目录下。根据日志中的提示,定位配置文件中可能存在的问题。 #### 验证目录权限和存在性 查看 `dfs.data.dir` 列表中的目录,确保至少有一个目录存在,并且运行 Hadoop 进程的用户对这些目录有写入权限 [^3]。 ```bash ls -l /path/to/datanode chown -R hadoopuser:hadoopgroup /path/to/datanode ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值