Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境腾讯云 CentOS Linux release 7.5.1804】【详细】

シ風

已于 2024-01-25 19:21:45 修改

阅读量575

点赞数 1

CC 4.0 BY-SA版权

分类专栏： .... ... .. . Hadoop 文章标签：大数据 hadoop linux

于 2021-07-27 17:56:49 首次发布

本文链接：https://blog.youkuaiyun.com/yuanzhengme/article/details/119149129

.... ... .. . Hadoop 专栏收录该内容

14 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客详细介绍了如何在Linux CentOS 7.5环境下搭建Hadoop 3.1.3单机版，包括前置条件（需要openjdk11）、配置免密登录、HDFS环境搭建的各个步骤，如配置环境变量、修改Hadoop配置、初始化HDFS等。最后通过`jps`命令和Web UI验证Hadoop服务的启动成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我使用的安装文件是 hadoop-3.1.3.tar.gz ，以下内容均以此版本进行说明。

1.前置条件

Hadoop 的运行依赖 jdk 我安装的 openjdk11【这里有个很深的坑，随后会说明】。

[root@tcloud ~]# java -version
openjdk version "11" 2018-09-25
OpenJDK Runtime Environment 18.9 (build 11+28)
OpenJDK 64-Bit Server VM 18.9 (build

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

シ風

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】（附：集群启动&停止Shell脚本）

シ風

07-29

1319

说明搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。集群搭建跟单机版本的差别只体现在配置文件上，然后就是将文件同步给其他集群服务器。 1.前置条件【每台服务器】 Hadoop 的运行依赖 jdk 我原本安装的是 openjdk11【由于yarn报错，换回了jdk8】。 [

Hadoop-3.1.3版本的分布式集群搭建

qq_55524511的博客

09-04

1569

就是hadoop-3.1.3搭分布式集群的过程啦，注意，要跟着这篇文章走，必须要先看文章里链接的伪分布式搭建过程哦，这两个可以说是上篇和下篇

参与评论您还未登录，请先登录后发表或查看评论

hadoop3.1环境搭建

04-14

hadoop3.1支持GPU,Linux, Windows, 了不起的系统也是最新的技术，看项目网站更全面：http://hadoop.apache.org/docs/current/index.html

Linux 虚拟机安装 hadoop

jojo_oulaoula的博客

08-23

2607

中添加如下内容。在中添加如下内容。在中添加如下内容。在

Ubantu安装Hadoop3.1.3单机、伪分布式

huangdxian的博客

10-14

1075

一安装完ubantu后，下载hadoop进行安装 1.默认环境 Ubuntu 18.04 64位作为系统环境（或者Ubuntu 14.04，Ubuntu16.04 也行，32位、64位均可） hadoop3.1.3.tar.gz文件下载地址传送门可以采用迅雷下载，速度比较快 2.准备工作创建一个名字为“hadoop”的用户，并使用 /bin/bash 作为 shell sudo useradd -m hadoop -s /bin/bash 使用如下命令设置密码，可简单设置为 123456，按提示输

Centos7 单机版搭建Hadoop3.1.2

qq_37497275的博客

10-08

840

1.我在vmware里面安装的centos7 2.搭建Hadoop单机创建一个hadoop用户创建好了hadoop用户，如果你只是测试其实用root也可以，主要是害怕root删除其他的一些东西创建hadoop文件目录 mkdir /usr/local/hadoop/tmp mkdir /usr/local/hadoop/hdfs/name mkdir /usr/local/h...

centos 7.9 安装hadoop3.3.1

01-11

879

上传hadoop包到master 节点解压 hadoop 包 tar -zxvf hadoop-3.3.1.tar.gz 配置hadoop 环境变量 vim /etc/profile source /etc/profile hadoop version 查看是否配置成功添加用户 adduser hadoop #(首字母一定要小写) 更新密码 passwd hadoop 添加到组 usermod -a -G hadoop hadoop 给hadoo...

hadoop-3.1.3.tar.gz

12-06

CentOS7是最常见的Linux发行版之一，它稳定且适合作为Hadoop的运行平台。首先，确保系统已经更新到最新版本，并安装了必要的依赖库，如Java运行环境（JRE）和开发工具集（Development Tools）。Hadoop需要Java 8或更...

Linux CentOS安装Hadoop3.1.3（单机版）详细教程

weixin_44458771的博客

08-30

3137

Hadoop是一个开源的分布式计算框架，主要用于大数据处理。它包括HDFS分布式文件系统和MapReduce计算模型，能够高效地存储和处理大规模数据集，广泛用于数据挖掘、分析和机器学习。

Centos 升级linux内核版本

热门推荐

weixin_40209911的博客

09-14

1万+

1. 从官网下载我们需要升级的内核文件并解压下载内核5.11的源码并解压，源码路径Index of /pub/linux/kernel/v5.x/，解压：tar -zxvflinux-5.11.tar.gz 解压到磁盘空间较大的分区中，对于v5.11版本的内核编译，建议至少要有10G以上的剩余磁盘空间，否则编译到一半发现磁盘空间不够。。。 2. 复制红帽官方的kernel编译配置文件并更改名字进入解压后的目录，参考下列命令执行： cp /boot/config-3.10.0-1127..

CentOS Linux release 7.5升级OpenSSH版本至9.0p1

CrazyBaymax的博客

09-15

1624

本次升级因是生产环境的服务器，所以服务器是不能连接外网的，而且整个升级过程中是通过访问堡垒机然后SSH连接服务器完成升级的，不允许绕过堡垒机使用Telnet连接做保障，所以升级之前先对服务器做一个快照，防止升级失败后连不上服务器，因此升级过程中万分小心，一旦失败就要通过快照还原，而且还不好找到原因，只能重新来过，十分麻烦）（我在升级过程中，在走到下边 OpenSSL安装的时候，make命令正常， make test 一步的时候报错，因此上传镜像，配置了一下本地yum源

linux7 core版本,CentOS Linux release 7.4.1708 (Core) 升級openssl

weixin_26846533的博客

05-24

255

一、查看當前系統的openssl版本[root@FJJ-LH-MONITOR openssl-1.1.0h]# openssl versionOpenSSL 1.0.2k-fips 26 Jan 2017二、下載最新版本的openssl源碼&編譯安裝wget https://www.openssl.org/source/openssl-1.1.0h.tar.gztar xzvf open...

Linux（2）系统基本操作-Mysql数据库原生安装_Mysql常用命令_安装和使用过程常用问题

JasonHuan的博客

03-26

1465

摘要：本文概述了Linux系统基本操作，包括查询CentOS版本、图形界面与命令行模式的切换。重点介绍了Linux系统下Mysql数据库的原生安装过程，涵盖了常用命令如启动、停止、查询状态等。同时，针对安装和使用过程中可能遇到的常见问题，如权限不足、配置错误等，提供了相应的解决方法。通过本文，读者能够掌握Linux系统基本操作技能，并顺利在Linux环境下安装、使用Mysql数据库，有效处理常见问题，提升数据库管理水平。

Hadoop3.1.3完全分布式安装配置

2301_76741492的博客

06-04

6483

6.三个节点设置静态ip（之前博客有发这里不再进行演示）。同样的方式创建bigdata03节点这里不再进行演示。

大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

大胆刁民的博客

03-16

1万+

大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

linux安装Hadoop-3.1.3-单机/伪分布（图文详细版）

qq_46138492的博客

01-06

2112

linux安装Hadoop-3.1.3-单机/伪分布

Hadoop 3.1.3 详细安装教程

fwdwqdwq的博客

08-16

1876

1）如果集群是第一次启动，需要在hadoop001节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）在配置了ResourceManager的节点（hadoop002）启动YARN。（3) 修改window的主机映射文件（hosts文件）（2）配置主机名称映射，打开/etc/hosts。配置yarn-site.xml。...

Hadoop3.1.3安装教程_单机/伪分布式配置

Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】

1.前置条件

Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境腾讯云 CentOS Linux release 7.5.1804】【详细】