hadoop基础(五）—hadoop各组件配置和启动

• hadoop配置文件

  • 默认配置(相对应的jar)

    • core-defaut.xml
      配置fs.trash 垃圾回收机制
    • hdfs-defaut.xml
    • yarn-defaut.xml
    • mapred-defaut.xml

  • 自定义配置($HADOOP_HOME/etc/hadoop)

    • core-site.xml
    • hdfs-site.xml
    • yarn-site.xml
    • mapred-site.xml

• 组件启动方式

  • 各个组件逐一启动

    • hadoop

      • hdfs :hadoop-daemon.sh start|stop
        namenode |datanode|sencondarynode

    • yarn

      • yarn-daemon.sh start|stop resourcemanager|nodemanager

    • mapereduce

      • mr-historyserver-daemon.sh start|stop historyserver

  • 各个模块分开启动

    • start-dfs.sh|stop-dfs.sh|start-yarn.sh|stop-yarn.sh

  • SSH免密登录

    • 生成ssh key的密钥

  • 全部启动（start-all.sh）

• 运行压力测试

  • NameNode: core-site.xml可发现运行在哪台机器上

  • DateNode:

  • secorndaryNode:
    hdfs-site.xml

  • YARN

    • ResourceManager:yarn-site.xml
    • NodeManager:slaves

  • Mapreduce

    • maperd-site.xml:historyserver

  • 理解守护进程配置的位置和对应的节点

• native库的编译问题

  • 没有编译，hdfs -ls 会出现warn

  • hadoop的编译安装