大数据环境搭建 Hadoop+Hive+Flume+Sqoop

JM1307hhh

已于 2023-06-24 14:14:41 修改

阅读量1.5k

点赞数 1

分类专栏：环境搭建文章标签： hadoop 大数据 hive flume sqoop

于 2023-06-15 19:58:35 首次发布

本文为博主原创文章，未经博主允许禁止转载。转载请注明出处，否则保留追究法律责任的权力。

本文链接：https://blog.youkuaiyun.com/JM1307hhh/article/details/131196906

版权

本文详细介绍了在CentOS7.6系统上，如何一步步安装和配置Hadoop单机环境，包括设置JDK、配置HDFS和YARN，接着部署Hive并连接MySQL作为元数据存储，然后安装Flume用于日志采集，以及Nginxweb服务器的安装和启动。最后，文章提到了Sqoop的安装和配置，用于数据导入导出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

零：版本说明

Hadoop：3.1.0
CentOS：7.6
JDK：1.8

一、安装CentOS

这里网上教程很多，就不贴图了
【内存可以尽量大一些，不然Hive运行时内存不够】
在这里插入图片描述

二、Hadoop单机配置

创建tools目录，用于存放文件安装包
在这里插入图片描述
将Hadoop和JDK的安装包上传上去

创建server目录，存放解压后的文件
在这里插入图片描述
解压jdk

配置环境变量

配置免密登录
配置映射，配置ip地址和主机名映射，以后就可以用主机名代替ip地址

生成公钥和私钥

查看生成的公钥和私钥，并将公钥写入授权文件

解压Hadoop
在这里插入图片描述
配置Hadoop
修改配置文件

在这里插入图片描述

初始化并启动HDFS
关闭防火墙
在这里插入图片描述
第一次启动需要先初始化HDFS

配置启动用户

在这里插入图片描述
配置环境变量，方便启动

启动HDFS

[root@localhost ~]# start-dfs.sh

验证是否启动成功

方式1：
[root@localhost ~]# jps
58466 Jps
54755 NameNode
55401 SecondaryNameNode
54938 DataNode

方式2：访问这个网址，虚拟机地址:9870端口号
192.168.163.129:9870

配置Hadoop（YARN）环境
修改配置文件mapred-site.xml和yarn-site.xml

[root@localhost ~]# cd /opt/server/hadoop-3.1.0/etc/hadoop/
[root@localhost hadoop]# vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		&l

最低0.47元/天解锁文章