centos7环境 jdk1.8+hadoop2.9.0+spark2.2.1

最新推荐文章于 2024-07-13 17:43:40 发布

原创最新推荐文章于 2024-07-13 17:43:40 发布 · 9.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hadoopo #centos7 #集群 #大数据

linux 同时被 3 个专栏收录

8 篇文章

订阅专栏

大数据

3 篇文章

订阅专栏

spark

2 篇文章

订阅专栏

本文详细介绍如何在Linux环境下安装配置JDK，并部署Hadoop与Spark集群，包括环境变量设置、核心配置文件调整及集群启动步骤。

1.安装jdk1.8, rpm安装或者解压

2.配置jdk环境， vi /etc/profile ,末尾添加

export JAVA_HOME=/usr/java/jdk1.8.0_121

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

保存退出， source /etc/profile

3.hadoop安装，下载解压

1）创建目录结构

2）查看版本 ./hadoop-2.9.0/bin/hadoop version

3）修改hadoop-2.9.0/etc/hadoop/core-site.xml,在<configuration/>添加
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.10.110.143:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/data/hadoopfile/tmp/</value>
</property>

4）修改hadoop-2.9.0/etc/hadoop/hdfs-site.xml,在<configuration/>添加
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/data/hadoopfile/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hadoopfile/dfs/data</value>
</property>

5）修改hadoop-2.9.0/etc/hadoop/mapred-site.xml,在<configuration/>添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>10.10.110.143:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>10.10.110.143:19888</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>10.10.110.143:50030</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>10.10.110.143:9001</value>
</property>

6）修改hadoop-2.9.0/etc/hadoop/yarn-site.xml,在<configuration/>添加
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
         </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>10.10.110.143</value>
        </property>
        <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.10.110.143:8032</value>
        </property>
        <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.10.110.143:8030</value>
        </property>
        <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.10.110.143:8031</value>
        </property>
        <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>10.10.110.143:8033</value>
        </property>
        <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>10.10.110.143:8088</value>
</property>