v3424的博客

1.首先创建一个maven项目，下面是pom文件所需的jar包 cloudera https://repository.cloudera.com/artifactory/cloudera-repos/ org.apache.Hadoop Hadoop-common 2.6.0-cdh5.14.0

集群添加节点 1.添加之前要将需要进行添加的新节点进行如下配置： 修改主机名 vi /etc/sysconfig/network 永久关闭防火墙 /etc/init.d/iptables stop chkconfig iptables off 关闭selinux vi /etc.selinux/config 修改 SELINUX=disabled 修改所有节点的 /etc/hosts 文件。添加新的节点的IP和主机名 安装jdk； 2.将主机添加到集群 a) 在hadoop配置

故障恢复步骤 第一步：杀死namenode进程 使用jps查看namenode进程号，然后直接使用kill -9 进程号杀死namenode进程 jps 127156 QuorumPeerMain 127785 ResourceManager 17688 NameNode 127544SecondaryNameNode 127418 DataNode 128365 JobHistoryServer 19036 Jps 127886 NodeManager [root@node01 servers]

机架感知是什么？ 告诉hadoop集群中的服务器节点属于哪个机柜 实现 我的hadoop解压目录是 /export/servers/hadoop-2.6.0-cdh5.14.0 1.在hadoop解压目录下创建 vim RackAware.py 里面代码如下： #!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "12.12.3.1":"SW6300-1", "12.12.3.2":

下面是配置三台虚拟机的集群！！ 一.前期配置. 1、 服务器主机名和静态IP配置（三台） 2、 修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台） 3、 管理节点到从节点配置无密码登录 4、 配置jdk 1.8（三台） 5、 关闭防火墙（三台） 6、 关闭selinux（三台） vi /etc/selinux/config SELINUX=enforcing → SELINUX=disabled 重启系统 二. hadoop安装流程 1.软件包上传