hadoop集群

添加新节点

配置hosts

centos

vim /etc/hosts
ip nodename

window

C:\windows\system32\drivers\etc
ip nodename

授信

生成密钥
ssh-keygen -t rsa -b 4096
授信
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

设置

设置主机名称
hostnamectl set-hostname nodename

1.hadoop文件夹中workers/slave文件中添加新的节点名称（nodename）
2.<property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3,node4</value>
  </property>

问题

添加的节点不启动

可能是多次格式化导致的，也可能是Namenode和Datanode的NamenodeID不一致
1.需清除hdfs-site.xml中dfs.data.dir路径下的文件
2.重新初始化，hadoop namenode -format
3.单独启动节点 hadoop-daemon.sh start datanode 进行测试