学习随笔——Hadoop伪分布式搭建

最新推荐文章于 2025-05-29 22:17:25 发布

憋说话

最新推荐文章于 2025-05-29 22:17:25 发布

阅读量335

点赞数 1

分类专栏： Hadoop 文章标签： hadoop centos 分布式

本文链接：https://blog.youkuaiyun.com/qq_36477645/article/details/62443890

版权

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文详细记录了在CentOS6.5系统中，从环境准备到安装JDK，再到安装Hadoop2.6.0的全过程，包括设置IP、关闭防火墙、配置SSH免密码登录、安装JDK1.7、配置Hadoop环境变量，修改配置文件，最后完成Hadoop的伪分布式启动和验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

初学Hadoop，若有错误请指正。

这里用的操作系统为CentOS6.5操作系统。

一、环境准备

**
1.设置IP地址
执行命令：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
验证：
ifconfig
2.关闭防火墙
执行命令：
service iptables stop
验证：
service iptables status
3.关闭防火墙的自动运行
执行命令：
chkconfig iptables off
验证:
chkconfig --list | grep iptables
4.设置主机名
执行命令：
vi /etc/sysconfig/network
5.IP与主机名绑定
执行命令:
vi /etc/hosts
6.设置ssh免密码登陆
执行命令：
（1）ssh-keygen -t rsa
（2）cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

二、安装jdk

**
这里用的jdk版本为1.7（64位），将jdk压缩包放至/usr/local目录下
1.解压并修改文件夹名称

cd /usr/local
chmod u+x jdk-7u79-linux-x64.tar.gz
tar -zxvf  jdk-7u79-linux-x64.tar.gz        //解压jdk
mv  jdk1.7.0_79 jdk             //将文件夹重命名为jdk

2. 配置jdk环境变量
执行命令
vi /etc/profile
增加如下内容：

export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH

3.执行命令

source /etc/profile

三、安装Hadoop

这里的Hadoop版本为Hadoop2.6.0（64位），将其放至/usr/local目录下
1.解压并修改文件夹名称

chmod u+x hadoop-2.6.0.tar.gz
tar -zxvf  hadoop-2.6.0.tar.gz      //解压
mv  hadoop-2.6.0  hadoop        //重命名

2.配置hadoop环境变量
执行命令
vi /etc/profile

增加如下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$PATH

执行命令
source /etc/profile

3.修改配置文件
执行命令
cd /usr/local/hadoop/etc/hadoop

hadoop-env.sh文件：
export JAVA_HOME=/usr/local/jdk

core-site.xml文件 (注意要修改主机名)：

<configuration>
    <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。-->
    <property>
         <name>hadoop.tmp.dir</name>
         <value>/usr/hadoop/tmp</value>
    </property>
    <!-- 指定HDFS的地址和端口号 -->
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml文件：

<configuration>
    <!-- 限制HDFS文件系统中同一份数据的副本数量 -->
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <!-- 在本地文件系统所在的NameNode的存储空间和持续化处理日志 -->
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/usr/hadoop/dfs/name</value>
    </property>
    <!--  逗号分隔的一个DataNode上，它应该保存它的块的本地文件系统的路径列表 -->
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/usr/hadoop/dfs/data</value>
    </property>
    <!-- 关闭Hadoop集群的权限验证 -->
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
    </property>
</configuration>

yarn-site.xml文件：

<configuration>
    <!-- Shuffle service 需要加以设置的 MapReduce的应用程序服务 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

mapred-site.xml文件（原名 mapred.xml.template 需要重命名）：

<configuration>
    <!-- 执行框架设置为 Hadoop Yarn -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.对namenode进行初始化(/usr/local/hadoop目录下)
命令：bin/hadoop namenode –format
启动namenode:
sbin/hadoop-daemon.sh start namenode
启动datanode:
sbin/hadoop-daemon.sh start datanode
启动Yarn：
sbin/start-yarn.sh

在sbin目录下启动hadoop： start-all.sh
停止所有的hadoop进程： stop-all.sh

执行命令：
jps
显示如下，有六个服务则说明伪分布式搭建成功

2218 NameNode
2304 DataNode
3866 Jps
3039 SecondaryNameNode
2692 NodeManager
2414 ResourceManager