Geek_ymv的专栏

集群环境规划 centos102 centos103 centos104 NameNode ResourceManager SecondaryNameNode DataNode DataNode DataNode NodeManager NodeManager NodeManager 配置免密登录 生成密钥对ssh-keygen -t rsa 一路回车即可 将本机公钥拷...

编写分发脚本 #!/bin/bash # 获取输入参数，如果没有参数直接退出 pcount=$# if ((pcount==0)); then echo no args; exit; fi # 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname # 获取上级目录的绝对路径 pdir=`cd -P $(dirname $p1); pwd` ec...

创建用户 hadoop 并设置密码 useradd hadoop passwd hadoop 把hadoop用户添加到sudoers 里 vi /etc/sudoers 在root ALL=(ALL) ALL 下面一行添加 hadoop ALL=(ALL) NOPASSWD: ALL 强制保存退出 :wq! 在/opt 目录下创建software和moudle 目录...

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/ HDFS的配置 1. etc/hadoop/core-site.xml fs.defaultFS：指定HDFS中NameNode地址 hadoop.tmp.dir：指定Hadoop运行时产生文件的存储目录 <configuration> <property&...

pom.xml org.apache.hadoop hadoop-common org.apache.hadoop hadoop-hdfs org.apache.hadoop

服务器规划如上图所示搭建步骤：1.同步时间、配置hosts、关闭防火墙时间同步：ntpdate -u edu.ntp.org.cn2.配置免密码登录NameNode节点到其他节点3.修改配置文件修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh # set to the root of your Java installation export JAVA_HO...