大数据-伪分布集群搭建详细过程

最新推荐文章于 2024-08-02 11:10:24 发布

youj-07

最新推荐文章于 2024-08-02 11:10:24 发布

阅读量406

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_44893836/article/details/115233540

本文详细介绍了如何在Linux环境下搭建Hadoop伪分布集群，包括更改主机名和IP映射、创建软件包、解压安装、设置环境变量、修改配置文件、创建目录、格式化HDFS、启动集群及验证等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

伪分布集群安装搭建

1.更改机器名字

sudo vi /etc/hosts

2.更改ip机器名的映射关系

sudo vi /etc/hosts

进入到以后把localhost注释

加上自己的ip名字 mynn

比如：

//ifconfig:出来的是192.168.153.130
192.168.153.130 mynn

3.自建软件包software,将压缩包在软件包种解压

解压命令：

cd /home/briup 进入文件

mkdir software 创建software文件夹

压缩hadoop压缩包

tar -zxvf hadoop-3.0.3.tar.gz -C software/
tar -xvf hadoop-3.0.3.tar -C software/

压缩jjdk压缩包同理

4.创建软连接，方便软件版本的更改

命令：

ln -s software/jdk1.8.0_181/java
//现在把jdk设置为java
ln -s software/hadoop-3.0.3 hadoop

5.更改环境变量

vi ~/.bashrc

进入后在最后添加：

export JAVA_HOME=/home/briup/java
export ClASSPATH=.
export HADOOP_HOME=/home/briup/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc 让配置生效

6.更改hadoop配置文件

1.hadoop-env.sh

进入到：54行，更改为/home/briup/java

2.core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mynn:9000</value>
	</property>
	<!-- hadoop文件系统依赖的基础配置，很多路径都依赖它 -->
	<property>
        	<name>hadoop.tmp.dir</name>
        	<value>/home/briup/hadoop/data/tmp