电商平台数据仓库搭建02-Hadoop集群搭建

最新推荐文章于 2024-06-09 03:53:02 发布

王小磊~

最新推荐文章于 2024-06-09 03:53:02 发布

阅读量901

点赞数

分类专栏：电商数据仓库搭建文章标签： hadoop 数据仓库 hive sql 大数据

本文链接：https://blog.youkuaiyun.com/m0_47792921/article/details/124408072

版权

本文档详细介绍了如何搭建电商平台数据仓库的Hadoop集群，包括虚拟机准备、hadoop-2.7.2的安装配置、集群规划、各配置文件的设置以及LZO压缩的配置。通过这个教程，你可以学习到从环境准备到集群启动的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，项目说明

本项目来源于github 电商平台数据仓库搭建。

项目为个人学习记录，项目代码及文件可访问电商平台数据仓库搭建获得。

2，项目准备

虚拟机准备

虚拟机开发工具为 VMware15。

本次项目我自己使用的CentOS版本为CentOS 7。

虚拟机需要配置3台，分别为Hadoop102，Hadoop103，Hadoop104。配置ssh、jdk1.vm-tools，并创建新用户hadoop并配置root权限,关闭防火墙。

主机复制和IP映射可以看这篇文章https://blog.youkuaiyun.com/m0_47792921/article/details/122182243

为了后续开发准备，请在虚拟机上配置以下参数，强烈建议和我保持一致，避免后续开发出现问题；
liunx设置
```
vi /etc/sysconfig/network
```
文件中内容

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop102

注意：主机名称不要有“_”下划线
```
[root@hadoop102 桌面]# vim /etc/hosts
```
添加内容（前面的IP根据你们自己的虚拟机IP来配置！！！）

查看ip使用命令 ifconfig
```
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
```

3，hadoop-2.7.2搭建

集群规划

安装hadoop

Hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

将hadoop-2.7.2.tar.gz复制粘贴到opt目录下面的software文件夹下面，并进入该目录打开终端。

# 压缩包路径
mkdir /opt/software
# 安装路径
mkdir /opt/module


cd /opt/software

# 解压，如果权限问题在前面加上sudo
 tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

# 查看是否解压成功，如果有hadoop2.7