Hadoop2.7.4单机模式/伪分布模式详细配置(Ubuntu)

最新推荐文章于 2022-09-28 15:38:15 发布

原创最新推荐文章于 2022-09-28 15:38:15 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#ubuntu #hadoop #网络

大数据同时被 3 个专栏收录

3 篇文章

订阅专栏

ubuntu-配置

3 篇文章

订阅专栏

hadoop

1 篇文章

订阅专栏

本文详细介绍如何在Linux环境下配置hostname、静态IP及实现SSH免密码登录，并指导完成Java环境及Hadoop集群环境的搭建过程，包括配置环境变量、各配置文件详解及环境验证。

修改hostname

 sudo vim /etc/hostname

修改静态IP

 sudo /etc/network/interfaces
 添加以下配置

auto ens33(联网名称)
ifaces ens33 inet static
address 192.168.135.133
gateway 192.168.135.2
netmask 255.255.255.0

重启网络:/etc/init.d/networking restart
重启电脑:reboot

实现SSH免密码登录

     安装SSH:sudo apt-get install ssh | sudo  apt-get install sshopen-server
     配置密钥:ssh-keygen -t rsa
     配置公钥:cat ~/.ssh/id_rsa.pub >> authorized_keys
     测试免密码登录:ssh hostname(主机名)

配置Java环境
解压下载的JDK包至任意目录,开始就好.
配置环境变量
sudo vim /etc/profile
添加以下代码:

export JAVA_HOME=jdk所在的路径
export CLASSPATH=:.$JAVA_HOME/jre/lib:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/jre/bin:$JAVA_HOME/bin

保存,source /etc/profile
在终端输入 java,javac验证JAVA环境是否配置正确.

配置Hadoop环境

1)配置Hadoop全局环境变量

      sudo vim /etc/profile

export JAVA_HOME=jdk所在的路径
export CLASSPATH=:.$JAVA_HOME/jre/lib:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/jre/bin:$JAVA_HOME/bin:/Hadoop所在目录/bin:/Hadoop所在目录/sbin

 source /etc/profile
 终端输入hadoop命令测试是否配置成功

2)hadoop-env.sh

 PS:这类所说的配置文件均在/etc/hadoop/目录下
 找到JAVA_HOME=${JAVA_HOME}
 将${JAVA_HOME}替换成jdk所在的路径

3)core-site.xml

<configuration>
      <property>
               <name>fs.defaultFS</name>
               <value>hdfs://ubuntu:9000</value>
               <description>hdfs://主机名:9000</description>
      </property>
      <property>
               <name>hadoop.tmp.dir</name>
               <value>/opt/hadoop/tmp</value>
               <description>输入tmp目录的路径[tmp目录需要手工建立]</description>
     </property>
</configuration>

4)hdfs-site.xml

     dfs/data,dfs/name需要手工建立.
<configuration>
     <property>
          <name>dfs.replication</name>
          <value>1</value>
          <description>不能大于datanode的数量,默认为3</description>
     </property>
     <property>
          <name>dfs.data.dir</name>
          </value>/opt/hadoop/dfs/data</value>
     </property>
     <property>
          <name>dfs.name.dir</name>
          <value>/opt/hadoop/dfs/name</value>
     </property>
</configuration>

5)mapred-site.xml

<configuration>
     <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
     </property>
</configuration>

6)yarn-site.xml

<configuration>
     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
          <name>yarn.scheduler.minimum-allocation-mb</name>
          <value>2040</value>
     </property>
     <property>
          <name>yarn.nodemanager.resource.memory-mb</name>
          <value>20480</value>
     </property>
     <property>
          <name>yarn.nodemanager.resource.cpu-vcores</name>
          <value>1</value>
     </property>
     <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>boomboom</value>
     </property>
</configuration>

验证Hadoop环境

 回退到Hadoop根目录,执行以下命令
      1)格式化namenode ./bin/hdfs namenode -format
      2)启动环境 ./sbin/start-all.sh
 测试环境
      1)输入jps
      2)算上jps一共有如下6个进程

29401 NodeManager
28922 DataNode
29114 SecondaryNameNode
31610 Jps
29276 ResourceManager
28766 NameNode

3)web端测试

        打开浏览器,进入
                ubuntu:50070
                ubuntu:8088