hadoop1.2.1伪分布模式配置

最新推荐文章于 2025-09-07 21:46:37 发布

原创最新推荐文章于 2025-09-07 21:46:37 发布 · 349 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #java

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何配置Hadoop环境变量、编辑hadoop-env.sh文件、修改核心配置文件如core-site.xml、hdfs-site.xml和mapred-site.xml，以及配置SSH以支持伪分布模式下的操作。

创建时间： 2016/3/1 10:13
更新时间： 2016/3/1 10:14

配置java环境变量和hadoop

HADOOP_INSTALL=/opt/hadoop-1.2.0/
JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre 
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$HADOOP_INSTALL/bin:$PATH

配置hadoop-env.sh:

首先我们用vi hadoop-env.sh命令编辑打开hadoop-env.sh文件，找到JAVA_HOME关键字所在的行，把前面的#号去掉，然后填写实际的JAVA_HOME地址：

export  JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre

1、修改core-site.xml，配置hdfs

<configuration>
<property>
     <name>fs.default.name</name>
     <value>hdfs://139.129.42.119:9000</value>
</property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/home/lei/tmp</value>
</property>

</configuration>

2、修改hdfs-site.xml，配置数据备份

<configuration>
     <property>

          <name>dfs.data.dir</name>  

          <value>/home/lei/appdata/hadoopdata</value>

     </property>

 <!--配置HDFS存储目录,数据存放目录,用于datanode存放数据-->

   <property>

          <name>dfs.name.dir</name>

          <value>/home/lei/appdata/hadoopname</value>

     </property>

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、修改mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

4、配置ssh

注：因为伪分布模式下，即使所有节点都在一台机器上，hadoop也需要通过ssh登录，这一步的目的是配置本机无密码ssh登录

命令行：ssh-keygen -t rsa

然后一路回车

cd ~/.ssh

cat id_rsa.pub>>authorized.keys

测试：ssh localhost

首次运行会提示是否继续，输入yes，回车，如果不要求输入密码，就表示成功了