Hadoop 1.x 伪分布式安装部署_hadoop介绍及1.x伪分布式安装-优快云博客

本文详细介绍Hadoop伪分布式环境的搭建过程，包括系统配置、关键文件配置、格式化及启动步骤。适用于初学者快速入门。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、介绍

Hadoop将所有进程运行于同一台主机上，此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。

伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slaves也将运行于本地主机。

2、安装准备

a) 关闭防火墙和禁用SELinux

i. 防火墙：service iptables stop

ii. SELinux：vim /etc/sysconfig/selinux，设置SELINUX=disabled

b) 设置静态IP

设置：vim /etc/sysconfig/network-scripts/ifcfg-eth0

c) 设置hostname

设置：vim /etc/sysconfig/network

d) 设置IP与hostname绑定

设置：vim /etc/hosts

127.0.0.1 localhost

192.168.1.180hadoop-master.dragon.org hadoop-master

e) 设置SSH自动登录

所有守护进程彼此通过SSH协议进行通信。

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub~/.ssh/authorized_keys

进行验证

ssh localhost

结果会在.ssh目录下产生known_hosts文件，如下图：

ssh hadoop-master

查看known_hosts，如下图，多了部分内容：

ssh hadoop-master.dragon.org

f) 安装jdk

略，见单机版部署

g) 安装hadoop

略，见单机版部署

3、修改配置文件

所有的配置文件，均在目录/opt/modules/hadoop-1.2.1/conf下。

a) 配置文件hadoop-env.sh

配置Hadoop的JDK，见单机版部署

b) 配置文件core-site.xml（NameNode）

指定NameNode主机名和端口号

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
		 <property>  
            <name>fs.default.name</name>  
            <value>hdfs://hadoop-master.dragon.org:9000</value>  
     </property>  
     
      <property>  
            <name>hadoop.tmp.dir</name>  
            <value>/opt/data/tmp</value>  
     </property> 
</configuration>

c) 配置文件hdfs-site.xml

设置HDFS的副本数

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
		 <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     
      <property>
         <name>dfs.permissions</name>
         <value>false</value>
     </property>
</configuration>

d) 配置文件mapred-site.xml

配置JobTracker的主机与端口号

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
		  <property>
         <name>mapred.job.tracker</name>
         <value>hadoop-master.dragon.org:9001</value>
     </property>
</configuration>

e) 配置文件slaves

指定DataNode和TaskTracker的位置