Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】

已于 2024-01-25 19:21:45 修改
阅读量609 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： .... ... .. . Hadoop 文章标签： 大数据 hadoop linux
于 2021-07-27 17:56:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuanzhengme/article/details/119149129
这篇博客详细介绍了如何在Linux CentOS 7.5环境下搭建Hadoop 3.1.3单机版，包括前置条件（需要openjdk11）、配置免密登录、HDFS环境搭建的各个步骤，如配置环境变量、修改Hadoop配置、初始化HDFS等。最后通过`jps`命令和Web UI验证Hadoop服务的启动成功。

我使用的安装文件是 hadoop-3.1.3.tar.gz ，以下内容均以此版本进行说明。

1.前置条件

Hadoop 的运行依赖 jdk 我安装的 openjdk11【这里有个很深的坑，随后会说明】。

[root@tcloud ~]# java -version
openjdk version "11" 2018-09-25
OpenJDK Runtime Environment 18.9 (build 11+28)
OpenJDK 64-Bit Server VM 18.9 (build 11
了解本专栏 订阅专栏 解锁全文 超级会员免费看
hadoop3.1环境搭建
04-14
hadoop3.1支持GPU,Linux, Windows, 了不起的系统 也是最新的技术， 看项目网站更全面：http://hadoop.apache.org/docs/current/index.html
精选资源
hadoop-3.1.3.tar.gz
12-06
CentOS7是最常见的Linux发行版之一，它稳定且适合作为Hadoop的运行平台。首先，确保系统已经更新到最新版本，并安装了必要的依赖库，如Java运行环境（JRE）和开发工具集（Development Tools）。Hadoop需要Java 8或更...
Linux 虚拟机安装 hadoop
jojo_oulaoula的博客
08-23 2747
中添加如下内容。在 中添加如下内容。在 中添加如下内容。在
Ubantu安装Hadoop3.1.3单机、伪分布式
huangdxian的博客
10-14 1131
一安装完ubantu后，下载hadoop进行安装 1.默认环境 Ubuntu 18.04 64位 作为系统环境（或者Ubuntu 14.04，Ubuntu16.04 也行，32位、64位均可） hadoop3.1.3.tar.gz文件下载地址传送门 可以采用迅雷下载，速度比较快 2.准备工作 创建一个 名字为“hadoop”的用户，并使用 /bin/bash 作为 shell sudo useradd -m hadoop -s /bin/bash 使用如下命令设置密码，可简单设置为 123456，按提示输
Centos7 单机版搭建Hadoop3.1.2
qq_37497275的博客
10-08 858
1.我在vmware里面安装的centos7 2.搭建Hadoop单机 创建一个hadoop用户 创建好了hadoop用户，如果你只是测试其实用root也可以，主要是害怕root删除其他的一些东西 创建hadoop文件目录 mkdir /usr/local/hadoop/tmp mkdir /usr/local/hadoop/hdfs/name mkdir /usr/local/h...
centos 7.9 安装hadoop3.3.1
01-11 907
上传hadoop包到master 节点 解压 hadoop 包 tar -zxvf hadoop-3.3.1.tar.gz 配置hadoop 环境变量 vim /etc/profile source /etc/profile hadoop version 查看是否配置成功 添加用户 adduser hadoop #(首字母一定要小写) 更新密码 passwd hadoop 添加到组 usermod -a -G hadoop hadoop 给hadoo...
Linux CentOS安装Hadoop3.1.3（单机版）详细教程
weixin_44458771的博客
08-30 3390
Hadoop是一个开源的分布式计算框架，主要用于大数据处理。它包括HDFS分布式文件系统和MapReduce计算模型，能够高效地存储和处理大规模数据集，广泛用于数据挖掘、分析和机器学习。
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】（附：集群启动&停止Shell脚本）
シ風
07-29 1377
说明 搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 集群搭建跟单机版本的差别只体现在配置文件上，然后就是将文件同步给其他集群服务器。 1.前置条件【每台服务器】 Hadoop 的运行依赖 jdk 我原本安装的是 openjdk11【由于yarn报错，换回了jdk8】。 [
Hadoop-3.1.3版本的分布式集群搭建
qq_55524511的博客
09-04 1602
就是hadoop-3.1.3搭分布式集群的过程啦，注意，要跟着这篇文章走，必须要先看文章里链接的伪分布式搭建过程哦，这两个可以说是上篇和下篇
Centos 升级linux内核版本
热门推荐
weixin_40209911的博客
09-14 1万+
1. 从官网下载我们需要升级的内核文件并解压 下载内核5.11的源码并解压，源码路径Index of /pub/linux/kernel/v5.x/，解压：tar -zxvflinux-5.11.tar.gz 解压到磁盘空间较大的分区中，对于v5.11版本的内核编译，建议至少要有10G以上的剩余磁盘空间，否则编译到一半发现磁盘空间不够。。。 2. 复制红帽官方的kernel编译配置文件并更改名字 进入解压后的目录，参考下列命令执行： cp /boot/config-3.10.0-1127..
centos 查看版本号方法
phplife的电子商务网上商城专栏
05-05 4612
centos 查看版本号方法 centos用什么命令可查版本号
CentOS Linux release 7.5升级OpenSSH版本至9.0p1
CrazyBaymax的博客
09-15 1729
本次升级因是生产环境的服务器，所以服务器是不能连接外网的，而且整个升级过程中是通过访问堡垒机然后SSH连接服务器完成升级的，不允许绕过堡垒机使用Telnet连接做保障，所以升级之前先对服务器做一个快照，防止升级失败后连不上服务器，因此升级过程中万分小心，一旦失败就要通过快照还原，而且还不好找到原因，只能重新来过，十分麻烦）（我在升级过程中，在走到下边 OpenSSL安装的时候，make命令正常， make test 一步的时候报错，因此上传镜像，配置了一下本地yum源
linux7 core版本,CentOS Linux release 7.4.1708 (Core) 升級openssl
weixin_26846533的博客
05-24 282
一、查看當前系統的openssl版本[root@FJJ-LH-MONITOR openssl-1.1.0h]# openssl versionOpenSSL 1.0.2k-fips 26 Jan 2017二、下載最新版本的openssl源碼&編譯安裝wget https://www.openssl.org/source/openssl-1.1.0h.tar.gztar xzvf open...
Hadoop3.1.3完全分布式安装配置
2301_76741492的博客
06-04 6857
6.三个节点设置静态ip（之前博客有发这里不再进行演示）。同样的方式创建bigdata03节点这里不再进行演示。
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
大胆刁民的博客
03-16 1万+
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
linux安装Hadoop-3.1.3-单机/伪分布（图文详细版）
qq_46138492的博客
01-06 2247
linux安装Hadoop-3.1.3-单机/伪分布
Hadoop 3.1.3 详细安装教程
fwdwqdwq的博客
08-16 2015
1）如果集群是第一次启动，需要在hadoop001节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）在配置了ResourceManager的节点（hadoop002）启动YARN。（3) 修改window的主机映射文件（hosts文件）（2）配置主机名称映射，打开/etc/hosts。配置yarn-site.xml。...
Hadoop3.1.3安装教程_单机/伪分布式配置
最新发布
秉烛夜游bzyy
12-22 1847
当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop3.1.3，主要参考官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。方便有基础的读者快速完成安装。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@寻觅远方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值