hadoop伪分布式搭建

最新推荐文章于 2024-07-28 20:13:01 发布

Aunean

最新推荐文章于 2024-07-28 20:13:01 发布

阅读量107

点赞数

分类专栏： hadoop及其组件部署文章标签： hadoop centos

本文链接：https://blog.youkuaiyun.com/qq_47168123/article/details/119461728

版权

hadoop及其组件部署专栏收录该内容

10 篇文章

订阅专栏

本文档详细介绍了在Linux环境下配置Hadoop伪分布式模式的步骤，包括修改IP地址、配置主机名、关闭防火墙和SELinux、安装JDK和Hadoop、设置环境变量、修改配置文件、格式化DFS以及实现SSH免密登录。通过这些步骤，你可以成功地在单台机器上搭建起Hadoop的伪分布式运行环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop伪分布式搭建

1.修改 IP 地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

2.配置其中文件

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=7397575d-294f-44ad-88a6-7476a5f27106
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.136.220
NETMASK=255.255.255.0
GATEWAY=192.168.136.2
DNS1=119.29.29.29

3.重启网络

systemctl restart network

4.修改主机名

查看主机名
hostname

修改主机名
hostnamectl set-hostname node0

5.关闭防火墙

关闭防火墙
systemctl stop firewalld

关闭防火墙自启动
systemctl disable firewalld

检查防火墙
systemctl status firewalld

关闭 selinux防火墙
vi /etc/sysconfig/selinux
把 SELINUX=enforcing 变为 SELINUX=disabled

6.映射主机名和IP地址

vi /etc/hosts

192.168.136.150 master1-1

7.安装 rz，使用rz上传所需文件

yum -y install lrzsz

8.解压JDK 安装包到‘/usr/local/src’路径，并配置环境变量

tar -zxvf *.tar -C /usr/local/src

配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/src/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量
source /etc/profile

查看是否配置jdk成功
java -version

9.解压hadoop安装包到 ‘/usr/local/src’ 路径，并配置环境变量

tar -zxvf *.tar -C /usr/local/src

配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/src/jdk1.8
export HADOOP_HOME=/usr/local/src/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新环境变量
source /etc/profile

查看是否配置jdk成功
hadoop version

10.修改Hadoop目录下的配置文件

vi hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8

vi core-site.xml
<configuration>
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://node:9000</value>
    <description>HDFS的URI，设定namenode的主机名及端口</description>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/src/hadoop-2.7.2/tmp</value>
    <description>节点上本地的hadoop临时文件夹，之前一定要先建立好</description>
</property>
</configuration>

vi hdfs-site.xml
<configuration>
<property>
	<name>dfs.replication</name>
	<value>1</value>
    <description>副本个数，默认是3,应小于datanode机器数量</description>
</property>

<property>
	<name>dfs.http.address</name>
	<value>master:50070</value>
    <description>这个是主节点的地址与端口</description>
</property>

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>slave1:50090</value> 
    <description>这个是SecondNameNode的地址与通信端口</description>
</property>



mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
    <description>指定mapreduce使用yarn框架</description>
</property>
</configuration>

vi yarn-site.xml
<configuration>
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>master1-1</value>
    <description>指定resourcemanager所在的hostname，即指定yarn的老大即ResourceManger的地址</description>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
    <description>NodeManager上运行的附属服务。指定NodeManager获取数据的方式是shuffle需配置成mapreduce_shuffle，才可运行MapReduce程序</description>
</property>
</configuration>

11.配置完成后，格式化 DFS

hdfs namenode -format

12.创建shh密匙实现免密

# 安装openssh，在centos7中ssh服务默认是已经被安装了的。通过命令rpm -qa | grep openssh 查看是否安装了ssh服务
yum install openssh

ssh-keygen -t rsa  # 然后按三次回车
cd /root/.ssh
ssh-copy-id master1-1  # 将本机的公钥复制到远程机器的authorized_key文件中，然后实现免密登录
more authorized_keys