hadoop1.x配置文件note

本文详细解析了如何在主节点上配置和启动Hadoop集群,并着重阐述了启动顺序及其对日志文件的影响。同时,文章还介绍了Namenode、Secondary Namenode和守护进程之间的交互以及启动流程。

配置文件

这里写图片描述

分析qidongshell脚本

  1. 查看start-all.sh脚本,

    • 只能在主节点上执行
    • 先启动dfs ,再 mapred
    • 启动hdfs守护进程时调用start-dfs.sh shell脚本,启动mapreduce守护进程时,调用start-mapred.sh脚本
  2. 查看start-dfs.sh

    • 主节点运行
    • 若先启动datanode在namenode启动之前, Datanode日志文件一直出现链接namenode链接error
    • 启动hdfs守护进程顺序: namenode datanode secondarynamenode
    • Namenode启动, 调用的事hadoop-deamon.sh脚本\
      这里写图片描述
    • 再启动secondaryNamenode服务时, 通过制定参数[–hosts masters]制定那些机器上运行secondaryNamenode服务,由此也验证了配置文件[masters]配置的ip地址为secondaryNamenode的服务地址.

目录结构

这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值