LinuxHadoop环境

最新推荐文章于 2025-02-21 17:23:17 发布
原创 最新推荐文章于 2025-02-21 17:23:17 发布 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据 #分布式

本文详细介绍了如何在虚拟机环境下搭建一个包含一个主节点和两个从节点的Hadoop集群。首先，讲解了虚拟机的安装和克隆过程，包括完整克隆和链接克隆。接着，配置了各个虚拟机的主机名、静态IP地址，并设置了主机名与IP地址映射。最后，关闭了所有虚拟机上的SeLinux安全机制，以确保Hadoop集群的正常运行。

Hadoop环境

Hadoop集群拓扑

1、集群拓扑

一个主节点，两个从节点

2、角色分配

完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop，集群角色分配如下表所示。

节点角色
masterNameNode, DataNode
slave1DataNode
slave2DataNode

一、虚拟机安装

安装虚拟机CentOS 7

  • 配置了静态IP地址（192.168.1.100）和主机名（ied）
    请添加图片描述

  • 关闭与禁用了防火墙
    请添加图片描述

  • 安装了vim编辑器
    请添加图片描述

二、虚拟机克隆

1、克隆类型

（1）完整克隆

  • 完整克隆是对原始虚拟机完全独立的一个拷贝，它不和原始虚拟机共享任何资源，可以脱离原始虚拟机独立使用。

（2）链接克隆

  • 链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但是采用共享磁盘文件可以极大缩短创建克隆虚拟机的时间，同时还节省物理磁盘空间。

2、克隆步骤

（1）克隆出master虚拟机

  • 关闭CentOS 7虚拟机，在VMware工具左侧系统资源库中右键单击CentOS 7，选择“管理”列表下的“克隆”选项，弹出克隆虚拟机向导。
    请添加图片描述
    请添加图片描述

  • 选择克隆源——虚拟机中的当前状态
    请添加图片描述

  • 选择克隆类型——创建链接克隆
    请添加图片描述

  • 设置新虚拟机名称和位置
    请添加图片描述

  • 单击【完成】按钮
    请添加图片描述

  • 单击【关闭】，查看master虚拟机
    请添加图片描述

（2）克隆出slave1虚拟机

  • 按照克隆master虚拟机的步骤克隆出slave1虚拟机
    请添加图片描述

（3）克隆出slave2虚拟机

  • 按照克隆master虚拟机的步骤克隆出slave2虚拟机
    请添加图片描述

三 、虚拟机配置

1、配置master虚拟机

  • 启动master虚拟机
    请添加图片描述

（1）设置主机名

  • 执行命令：hostnamectl set-hostname master
    请添加图片描述

  • 重启虚拟机，提示符变成[root@master ~]#
    请添加图片描述

（2）设置静态IP地址

  • 查看IP地址可选范围
    请添加图片描述

  • 查看网关配置
    请添加图片描述

  • 执行命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33
    请添加图片描述

  • 存盘退出，执行命令：systemctl restart network
    请添加图片描述

  • 执行命令：ip addr，查看设置的静态IP地址
    请添加图片描述

（3）配置主机名与IP地址映射

  • 执行命令：vim /etc/hosts，添加三个映射（集群有三个虚拟机）
    请添加图片描述

  • 存盘退出，验证配置效果
    请添加图片描述

2、配置slave1虚拟机

  • 启动slave1虚拟机
    请添加图片描述

（1）设置主机名

  • 执行命令：hostnamectl set-hostname slave1
    请添加图片描述

  • 重启虚拟机，提示符变成[root@slave1~]#
    请添加图片描述

（2）设置静态IP地址

  • 执行命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33
    请添加图片描述

  • 存盘退出，执行命令：systemctl restart network
    请添加图片描述

  • 执行命令：ip addr，查看设置的静态IP地址
    请添加图片描述

（3）配置主机名与IP地址映射

  • 执行命令：vim /etc/hosts，添加三个映射（集群有三个虚拟机）
    请添加图片描述

  • 存盘退出，验证配置效果

  • slave1虚拟机可以通过主机名来ping通master虚拟机和slave1虚拟机
    请添加图片描述

  • master虚拟机可以通过主机名来ping通slave1虚拟机
    请添加图片描述

3、配置slave2虚拟机

  • 启动slave2虚拟机

操作与slave1相同

  • slave2虚拟机可以通过主机名来ping通master虚拟机、slave1虚拟机和slave2虚拟机
    请添加图片描述

  • master虚拟机可以通过主机名来ping通slave1虚拟机和slave2虚拟机
    请添加图片描述

四、关闭SeLinux安全机制

  • 安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。
  • SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）。
  • SELinux 有三种工作模式，分别是enforcing：强制模式；permissive：宽容模式；disabled：关闭 SELinux。
  • /etc/sysconfig/selinux 文件里SELINUX=enforcing，将enforcing改成disabled，就可以关闭SeLinux安全机制

1、在master虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux
    请添加图片描述

2、在slave1虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux
    请添加图片描述

3、在slave2虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

请添加图片描述

hadoop强制退出安全模式命令
qq_45749702的博客
09-04 1382
最后，想到可能是之前与恢复/保存快照有关，保存快照之后再次开机就出现了无法上传、删除文件的问题。重启虚拟机后，依旧是无法退出安全模式。链接，查询namenode日志，提示。
Linux环境搭建Hadoop及完全分布式集群
cleverstronge的博客
03-10 2955
本人通过学习Hadoop以及搭建Hadoop集群所整理的快速搭建完全分布式集群代码模板
Linux简单命令之服务控制和安全开关
qq_50929489的博客
09-19 2957
Linux简单命令之服务控制和安全开关
虚拟机开机黑屏问题解决
weixin_45823693的博客
05-14 680
解决虚拟机开机黑屏问题
Linux安全配置关闭
huanglongdejia的博客
07-17 3465
1.关闭防护墙 chkconfig列出所用的服务的状态 关闭防火墙：chkconfig iptables off 2.关闭Linux安全
hadoop退出安全模式
owen-li
05-13 4414
Hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录，如果数据块中满足replication设置值的数据块的数量在总数据块数量中所占比例没有超过一定值（称为安全模式阀值，默认为0.999f），那么集群将持续处于安全模式，在该模式下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系
【Linux】—Hadoop运行环境搭建（完全分布式）
sodaloveer的博客
07-03 2041
【Linux】—Hadoop运行环境搭建（完全分布式）
linux下搭建hadoop环境步骤分享
01-20
、tar xvzf hadoop-0.20.2.tar.gz3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586....
Linux下Hadoop开发环境搭建详解
11-10
内容概要：本文详细介绍了如何在 Linux 系统上搭建 Hadoop 开发环境，从环境准备到配置完成，包括 Java 安装、Hadoop 下载与安装、配置文件修改、SSH 无密码登录设置、Namenode 格式化、服务启动与验证等步骤。...
Linux搭建Hadoop开发环境
04-24
NULL 博文链接：https://mazhilin.iteye.com/blog/2415060
Linux学习笔记
qq_42532132的博客
07-13 628
Linux 1、Linux目录结构 /bin：Binary的缩写，这个目录存放着最经常使用的命令； /sbin：s就是Super User的意思，这里存放的是系统管理员使用的系统管理程序； /home：存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的； /root：该目录为系统管理员，也称作超级权限这的用户主目录； 2、一般模式的常用语法 以vi、vim打开一个档案就直接进入一般模式了（这是默认的模式）。在这个模式中，你可以使用【上下左.
大数据环境搭建常用Linux命令
m0_56746629的博客
03-13 153
/bin/hdfs dfsadmin -safemode get //查看状态hdfs dfsadmin -safemode enter //进入安全模式hdfs dfsadmin -safemode get //查看状态hdfs dfsadmin -safemode leave //退出安全模式hdfs dfsadmin -safemode get //查看安全模式。# 先运行表创建脚本source /opt2/mysql/populate.sql;# 在运行表填充脚本。新密码：123456。
Linux关闭防火墙、seLinux安全组件
weixin_53132064的博客
02-21 590
Linux部署第一步关闭防火墙、seLinux安全组件
linux如何退出应急模式,如何在救援/紧急模式下启动Ubuntu 20.04 LTS？
热门推荐
weixin_30345873的博客
05-12 1万+
有一些情况，比如Linux服务器用户忘记密码，或者文件系统被破坏，或者想修复/etc/fstab错误等，为了解决这些问题，Linux管理员必须将系统启动到救援模式或紧急模式。Ubuntu Linux服务器中的救援模式也被称为单用户模式。在这篇文章中，将演示如何将Ubuntu 20.04 LTS系统引导到救援模式和应急模式。一、开启Ubuntu 20.04 LTS进入救援模式(单用户模式)1、重启系...
从零开始学习Linux（一）关闭虚拟机系统
alinna1234的博客
09-07 5179
介绍一下在ubuntu中使用命令关闭虚拟机的方法
CentOS-关闭防火墙和禁用安全策略
小道士写程序
03-07 959
linux
ubuntu-ssh安装及设置以及防火墙关闭
nuanmin的博客
01-08 1932
首先要关闭防火墙： 1.getenforce //查看当前状态 Enforcing 2.setenforce 0 //修改状态 3.getenforce //Permissive 防火墙永久关闭 "vim /etc/selinux/config" 将"SELINUX=enforcing"改为"SELINUX=disabaled" 1.安装ssh: sudo apt-get install openssh-server 2.启动ssh：打开 " 终端窗口 "， 输入" sudo ps -s | grep
linux 单用户模式（安全模式）
开开的博客
09-16 2595
单用户模式： Linux提供了单用户模式（类似Windows安全模式），可以在最小环境中进行系统维护。在单用户模式（运行级别1）中，Linux引导进入根shell，网络被禁用，只有少数进程运行。单用户模式可以用来修改文件系统损坏、还原配置文件、移动用户数据等。 遇到Ubuntu无法正常启动的情况，这时候需修改某些文件让系统正常启动，如果直接进入recovery 模式，默认是文件权限只读，无法修改文件。这时我们 需要进入recovery 的单用户模式，获得修改文件的权限。 ...
Centos.x防火墙开启与关闭
xue220328的博客
09-07 1190
centos6.x centos7.x 查看防火墙状态 systemctl status firewalld 关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld -开启防火墙 systemctl start firewalld（谨慎操作，若ssh端口不是22）
linuxhadoop环境变量
最新发布
03-21
### 配置 Linux 系统中的 Hadoop 环境变量 在 Linux 中配置 Hadoop 环境变量是一个重要的步骤，它使得可以在终端中直接运行 `hadoop` 命令而无需指定其完整路径。以下是详细的说明： #### 1. 安装 Hadoop 首先需要下载并解压 Hadoop 的安装包至目标目录。假设已将 Hadoop 解压到 `/opt/module/` 下，则可以使用以下命令完成操作： ```bash tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ ``` #### 2. 修改环境变量文件 编辑全局环境变量文件 `/etc/profile` 或用户的 `.bashrc` 文件来添加 Hadoop 的路径。 ##### 方法一：修改全局环境变量 (`/etc/profile`) 通过以下命令打开 `/etc/profile` 文件进行编辑： ```bash vim /etc/profile ``` 在文件末尾追加如下内容： ```bash export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 上述语句定义了一个名为 `HADOOP_HOME` 的环境变量，并将其下的 `bin` 和 `sbin` 目录加入到系统的 `$PATH` 变量中[^1]。 ##### 方法二：修改用户级环境变量 (`.bashrc`) 如果只需要为当前用户配置 Hadoop 环境变量，可以通过编辑 `~/.bashrc` 实现： ```bash vim ~/.bashrc ``` 同样，在文件末尾追加相同的两行代码： ```bash export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` #### 3. 让更改生效 无论是修改了 `/etc/profile` 还是 `~/.bashrc`，都需要重新加载该文件才能让新配置立即生效。执行以下命令之一即可： ```bash source /etc/profile # 或者 source ~/.bashrc ``` #### 4. 验证配置是否成功 最后一步是用来确认 Hadoop 是否已经正确地集成到了环境中。输入以下命令测试版本信息： ```bash hadoop version ``` 如果能够正常打印出 Hadoop 版本号，则表明配置无误[^3]。 另外需要注意的是，某些教程可能还会建议额外设置一些辅助性的参数比如 `HADOOP_CONF_DIR` 来指向具体的配置文件位置，但这并非绝对必要除非有特殊需求[^2]。 ```python print("Environment variables configured successfully.") ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值