CentOS 搭建hadhoop单机模式

最新推荐文章于 2025-04-06 10:51:55 发布

原创最新推荐文章于 2025-04-06 10:51:55 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#linux #hadoop #ssh

Centos 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了在CentOS系统上搭建Hadoop单机模式的步骤，包括下载安装包、安装SSH、配置JAVA_HOME、修改Hadoop配置文件以及启动Hadoop服务。通过这些步骤，你可以成功在本地运行Hadoop并使用jps验证其运行状态。

1、下载hadhoop安装包http://hadoop.apache.org/releases.html，我下的是hadoop-2.7.0-src.tar.gz，解压。

gzip -d hadoop-2.7.0-src.tar.gz
tar -xvf hadoop-2.7.0-src.tar

此后的操作都需要在root下进行。

su root

2、安装ssh

先查看是否已经装了ssh

rpm -qa | grep ssh

如果没有安装，则用

yum install ssh

最好再开启一次ssh服务

   service sshd restart
   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

切换到根目录下查看有没有.ssh文件。

   cd ~/
   ls -a

进入.ssh目录

cat id_dsa.pub > authorized_keys

紧接着测试，确认能否不输入口令就用ssh登录localhost，也就是是说输入下面命令后不会出现输入密码的提示

   ssh localhost

至此ssh就配置完成了。

3、安装jdk，设置JAVA_HOM

除了配置/etc/profile外，还需在httpfs-env.sh中export JAVA_HOME

4、配置hadhoop

进入hadoop-2.7.0/etc/hadoop

a.配置core-site.xml如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>

        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>

    </property>
</configuration>

b.配置hdfs-site.xml 如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>
~

c.配置mapred-site.xml

目录下只有mapred-site.xml.template 而没有mapred-site.xml，所以复制一份。

  cp mapred-site.xml.template  mapred-site.xml

配置如下：

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

</configuration>

至此，hadoop配置基本完成。

4、启动hadoop

进入hadoop的sbin目录，执行hadoop namenode -format

接着执行 start-all.sh

5、用jps查看相关信息

注：新的hadoop架构中取消了JobTracker，参考http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html