centos7搭建hadoop

系统centos7

1、安装jdk

1）下载jdk

（1）下载地址
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
（2）安装lrzsz
yum install -y lrzsz
上传安装包
rz

（3）解压安装包
tar -zxvf jdk-8u25-linux-x64.tar.gz

2）配置环境变量

vim /etc/profile
加入下面的配置

export JAVA_HOME=/home/hadoop/jdk1.8.0_25/
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

让配置生效
source /etc/profile

3）查看jdk版本

java -version

2、配置centos地址

1）查看hostname

hostname

2）修改主机名称

hostnamectl set-hostname master

3）为每个服务器设置地址，vi /etc/hosts 配置(有几个服务器设置几个服务器 ip为外网地址)

重启网络,即可生效
/etc/init.d/network restart

3、远程无密码连接

生成秘钥
ssh-keygen -t rsa
复制到公共秘钥中
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
测试是否配置好

修改权限
chmod 600 /root/.ssh/authorized_keys
启动 ssh
systemctl start sshd.service
查看状态
systemctl restart sshd.service
开机自启动
systemctl enable sshd.service

4、安装hadoop

1）下载hadoop

下载地址
http://mirrors.hust.edu.cn/apache/hadoop/common

2) 安装lrzsz

yum installl -y lrzsz
上传安装包
rz

解压安装包
tar -zxvf hadoop-2.7.1_64bit.tar.gz

3) 配置环境变量

vim /etc/profile
加入下面的配置

export HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin

让配置生效
source /etc/profile

4) 查看hadoop版本

hadoop version

5、配置hadoop

cd /home/hadoop/hadoop-2.7.1/etc/hadoop

1）配置hadoop-env.sh

vim hadoop-env.sh

配置
export JAVA_HOME=/home/hadoop/jdk1.8.0_25

2）配置yarn-env.sh

vim yarn-env.sh

3） 配置core-site.xml

创建零时目录
mkdir -p /home/hadoop/tmp

　<configuration>  
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://master:9000</value>
          </property>
 <!--用来指定使用hadoop时产生文件的存放目录-->
          <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/tmp</value> 
          </property>
　</configuration>

开始配置

4）配置hdfs-site.xml

指定MapReduce运行在yarn上,配置JobTracker的地址和端口

     <property>
         <name>mapred.job.tracker</name>
         <value>slave1:9001</value>
     </property>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>

     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>

    <property>
      <name>dfs.namenode.http-address</name>
      <value>slave1:50070</value>
    </property>

5）配置yarn-site.xml

<property>
   <name>yarn.resourcemanager.address</name>
  <value>master:8032</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
 <property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value> </property> <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
  <value>master:8033</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:8089</value>
</property>

6）修改slaves

查找slaves位置
find / -name slaves

进入目录
cd /home/hadoop/hadoop-2.7.1/etc/hadoop
配置slaves
vi slaves

6、启动hadoop

1）格式化namenode

cd /home/hadoop/hadoop-2.7.1/bin
./hdfs namenode -format

2） 报错了，core-site.xml 配置多了个字符

3） 进入core-site.xml修改

4）重新格式化namenode

5）启动集群（在master上面）

cd /home/hadoop/hadoop-2.7.1/sbin
./start-all.sh

6) 查看进程

7、简单操作hadoop