hadoop 3.2 集群搭建

最新推荐文章于 2025-04-08 15:54:06 发布
最新推荐文章于 2025-04-08 15:54:06 发布
阅读量2.1k 收藏 26
点赞数 1
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39314099/article/details/103681298
版权

hadoop 集群 3.2 搭建过程其实很简单。

选择自己想要的版本，我第一次搭建用的是2.7.5，虽然也搭建出来了，但是在web管理页面没有看到文件管理的相关按钮：

自我感觉不完美，后来看同事的集群，页面访问是有相关按钮的：

所以仔细对比了下配置文件，并未发现有什么异同，唯一不同的是版本不同，他用的是3.0版本，而我是2.7.5，索性重新装一个高版本的试下，下面是过程：

我的集群是三台机器：

hostnameip主节点namenode从节点datanode
CentOS121192.168.18.121truetrue
CentOS122192.168.18.122falsetrue
CentOS123192.168.18.123falsetrue

（基础知识不再科普，有需要自行查阅资料）

首先声明：我并不会关闭防火墙，防火墙的存在是为了保护系统，我觉得开着还是有必要的。

准备工作（三台机器都需要做）：

  • 防火墙：大多数的教程都是先关闭防火墙，其实不关闭也是可以实现的，新建一个防火墙富规则即可，使三台机器相互信任。 
    在CentOS121上需要如此配置，信任另外两台机器（另外两台同理）：

firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=192.168.18.122/24 accept'

firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=192.168.18.123/24 accept'


如此可实现内部通信畅通，无需再关闭防火墙。   

                                                                                                                        

  • hostname（修改后需重启机器）：

    vim /etc/hostname

  • ssh免密登录：参见我另一篇博客：https://blog.youkuaiyun.com/qq_39314099/article/details/103503870

  • 开放namenode网页web访问端口：9870（2.7.5版本是50070）
firewall-cmd --zone=public --add-port=9870/tcp --permanent

firewall-cmd --reload
  • 另外，java环境需要提前配好。

将下载后的压缩包上传到linux中，或者用wget直接下载也可。

然后解压，我的目录是/usr/local/software/hadoop。

然后配置环境变量，关于环境变量我认为放在/etc/profile.d/下是比较合适的，新建一个自己的sh脚本文件：

然后使配置文件生效，

source /etc/profile

如果此处操作成功，可以查看hadoop版本：

hadoop version

  • 首先在hadoop安装目录下建立几个文件夹：
假设当前在hadoop安装目录下：

mkdir tmp 用来存储临时文件

mkdir -p hdfs/name 作为namenode的数据目录

mkdir hdfs/data 作为datanode的数据目录

最终的结构是这样的：

  • 接下来配置核心的几个配置文件：
core-site.xml：核心配置文件。

hdfs-site.xml：hdfs存储相关配置。
mapred-site.xml：MapReduce相关的配置。
yarn-site.xml：和yarn相关的一些配置。
workers（2.7.5 版本叫 slaves）：用来指定从节点，文件中默认是localhost。
hadoop-env.sh：配置hadoop相关变量（3.2需要配置java_home和user，2.7.5只需要配置java_home）。

进入hadoop安装目录下，进入hadoop目录下的etc/hadoop目录，这五个文件都存放于这个目录下。

  1. core-site.xml：核心配置文件中指定默认文件系统和临时文件目录。 
     <configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://CentOS121:9000</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/usr/local/software/hadoop/tmp</value>
     </property>
 </configuration>

     

  2. hdfs-site.xml：关于hdfs存储系统相关配置。 
    <configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>CentOS121:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/software/hadoop/hdfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/software/hadoop/hdfs/data</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

  3. mapred-site.xml：MapReduce的相关配置项。

    <configuration>

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>CentOS121:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>CentOS121:19888</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>
            /usr/local/software/hadoop/etc/hadoop,
            /usr/local/software/hadoop/share/hadoop/common/*,
            /usr/local/software/hadoop/share/hadoop/common/lib/*,
            /usr/local/software/hadoop/share/hadoop/hdfs/*,
            /usr/local/software/hadoop/share/hadoop/hdfs/lib/*,
            /usr/local/software/hadoop/share/hadoop/mapreduce/*,
            /usr/local/software/hadoop/share/hadoop/mapreduce/lib/*,
            /usr/local/software/hadoop/share/hadoop/yarn/*,
            /usr/local/software/hadoop/share/hadoop/yarn/lib/*
        </value>
    </property>
</configuration>

  4. yarn-site.xml：yarn相关配置。

    <configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>CentOS121:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>CentOS121:8030</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>CentOS121:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>CentOS121:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>CentOS121:8088</value>
    </property>
</configuration>

  5. workers（2.7.5版本为slaves）：用以指定datanode从节点。

    CentOS121
CentOS122
CentOS123

  6. hadoop-env.sh：（3.2需要配置，2.7.5只需要配置java_home）

    # java_home若已配过，这里可以直接引用，否则应配置完整jdk路径
export JAVA_HOME=${JAVA_HOME}
# 安装用的是root用户，所以这里都设置为root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

配置完成，然后将整个hadoop文件夹分发到另外两个机器上，用scp命令即可：

scp -r hadoop/ CentOS122:/usr/local/software/

scp -r hadoop/ CentOS123:/usr/local/software/

然后将环境变量等配置好
  • 接下来格式化namenode： 
    hdfs namenode -format

    这个操作需要在主节点进行。成功的话会看到成功格式化的日志：

  • 启动hadoop，可以单独启动，也可以用hadoop提供的脚本一次性都启动：

    hadoop/sbin/start-all.sh

    启动成功的话可以看到如下日志，分别用 jps 命令查看三个机器：

  • 验证：访问页面。访问namenode主节点端口为9870，

  • 访问yarn管理界面：这里也可以看到三个节点成功起来了。

接下来看看hdfs文件系统，并用python连接。

简单的一个写入csv文件，并读取的过程：

# -*- coding: utf-8 -*-
import pandas as pd
import hdfs
_author_ = 'luwt'
_date_ = '2019/12/18 18:20'


hdfs_user = 'root'
hdfs_addr = 'http://192.168.18.121:9870'
client = hdfs.InsecureClient(hdfs_addr, user=hdfs_user)
df = pd.read_csv("D:\\Data.csv")
print(df)
hdfs_path = '/test/a.csv'
client.write(hdfs_path, df.to_csv(index=False), overwrite=True, encoding='utf-8')
read = client.read(hdfs_path, encoding='utf-8')
with read as reader:
    for row in reader:
        print(row)

运行成功：

接着查看web页面：

大功告成。

ANSI转义码----让你的终端打印有颜色
guoweilkd的博客
05-23 1696
ANSI转义码(ANSI escape code) 参考链接: http://www.thefullwiki.org/ANSI_escape_code https://en.wikipedia.org/wiki/ANSI_escape_code ANSI转义序列是一种带内信号的转义序列标准，用于控制视频文本终端上的光标位置、颜色和其他选项。在文本中嵌入确定的字节序列。 转义序列的控制字符 转义序列使用ESC开头。其中ESC的ASCII值为27(十六进制为0x1B,把进制为033).在使用时一般表示为\0
ANSI转义序列
Stewie Lee的博客
05-09 3414
SGR（Select Graphic Rendition）是一种ANSI 转义码序列，同样也是上面的CSI 序列的一种，就是上面CSI 序列表格中背景为蓝色的一行，用于在文本终端中设置文本属性，包括颜色、样式和其他外观效果。它允许开发者控制文本在终端上的呈现方式，从而创建出更丰富多彩的用户界面和输出效果。SGR 序列由 ESC（Escape）字符后跟着零个或多个以分号分隔的参数组成，然后以字母 "m" 结束。参数用于指定要应用的不同文本属性，例如颜色、粗体、斜体等。
ANSI转义代码(ansi escape code)
phoenix_wangxd的博客
10-02 2947
在命令行终端中的内容通常会是黑底白字，但是有的时候我们会看到一些写的好的命令行工具，它们会输出各种的颜色的提示信息，尤其是绿色的Success与红色的Failed， 这对我们了解程序运行状态来说，有着很好的帮助。你可能也会好奇它们是怎么实现的，本文想要说明的就是这个问题。
掌握ANSI转义序列：编程中控制光标与屏幕
最新发布
weixin_42627459的博客
04-08 618
本文介绍了如何利用ANSI转义序列在文本界面中控制光标位置、移动和屏幕清除等操作。通过C语言的printf函数和特定的转义字符组合，可以实现对光标的精确控制和屏幕内容的管理。
常见的ANSI转义码
qq_43279097的博客
02-08 1593
`\x1b[100m` 到 `\x1b[107m`：设置背景颜色为明亮的黑、红、绿、黄、蓝、洋红、青、白。- `\x1b[90m` 到 `\x1b[97m`：设置文本颜色为明亮的黑、红、绿、黄、蓝、洋红、青、白。- `\x1b[30m` 到 `\x1b[37m`：设置文本颜色为黑、红、绿、黄、蓝、洋红、青、白。- `\x1b[40m` 到 `\x1b[47m`：设置背景颜色为黑、红、绿、黄、蓝、洋红、青、白。- `\x1b[H` 或 `\x1b[;- `\x1b[39m`：重置文本颜色为默认值。
ANSI 转义字符
shaowei的博客
10-03 3634
ANSI C语言中的全部转义字符序列如下：## a:响铃符 b:回退符 f:换页符 n:换行符 r:回车符 t:横向制表符 v:纵向制表符 :反斜杠 ?:问号 ':单引号 &quot;：双引号 ooo:八进制数 xhh:十六进制数 在编程中经常看到如：\033的转义字符，’\033’ == ‘\x1b’ ‘\0’：8进制，　‘\x’：16进制 它们的具体意思如下： 转义字符...
ANSI 转义序列
嵌入式技术
06-18 2115
ANSI 转义序列是一种用于控制终端输出的色彩、样式、光标位置以及控制终端行为的特殊字节. 它的使用方式就是通过 stdout 在字符串、字节中向外输出**Control当终端支持此转义序列的功能时, 就会呈现出相应的效果. 此功能常常用于终端的彩色输出、构建 Text User Interface 应用等. ANSI 转义序列在 Linux、 MacOS 的各终端下得到了广泛运用, 但是在 Windows 系统上支持不佳. 不过 Microsoft 新出的 microsoft/terminal .
使用ANSI转义序列设置终端文本颜色
zhu_superman的博客
06-21 1545
在使用ANSI转义序列设置终端文本颜色时，背景颜色和文本（前景）颜色的区分主要通过不同的ANSI代码来实现。ANSI转义序列使用格式为\033[代码m的结构，其中\033是转义字符（等同于\e），m指示颜色设置的结束。
解决windows输出彩色字体（ANSI转义序列）乱码的问题
07-13
ANSI转义序列是一种控制字符序列，常用于控制终端的颜色、光标位置等，它在Linux和macOS等系统中广泛使用。这篇文章将探讨如何在Windows上解决这个兼容性问题，让你也能享受到彩色的命令行输出。 首先，我们需要...
使用 ANSI 转义序列输出彩色文本
Fengzi_21的博客
01-25 1572
本文教大家使用 ANSI 转义序列输出彩色文本。
swift-AnsiEscapes用于操纵终端的ANSI转义码
08-15
ANSI转义码（也称为ECMA-48控制序列）是一种嵌入在文本流中的特殊字符序列，它们用来改变终端的显示特性，如文本颜色、背景色、文本格式（如加粗、斜体）以及光标移动等。这些码以ASCII的 ESC 字符（ASCII值为27）...
易语言 API_Utf8-Ansi-Unicode转码源码
09-25
易语言 API_Utf8-Ansi-Unicode转码源码
ANSI链接中文转码工具ENcode
12-24
ANSI、UTF链接中文转码工具,可以支持快速的将类似于百度搜索链接地址中的中文转码转换。 支持ANSI、UTF转码和转中文。 支持剪贴板信息直接粘贴转码。
文本转码 ansi转unicode
07-19
文本转码 c# ansi转unicode
计算机终端控制中的ANSI转义序列详解与应用
10-27
ANSI转义序列是一种特殊的字符序列，用于控制视频终端上的光标移动、颜色改变以及其他显示选项。这些序列以ASCII转义字符（ESC，即27）开始，紧跟着是一个左方括号“[”，以及一系列的参数和指令字符。通过这种方式...
ANSI 转义序列学习笔记
m0_72410588的博客
07-18 1107
ANSI 转义序列是由一系列以\e[开头、以字母和数字组成的字符序列组成的。在大多数终端程序中，我们可以用\e或\033来表示转义字符。这些转义序列告诉终端应该如何处理文本输出，比如改变文本颜色、样式、光标位置等。通过插入这些特殊的转义序列，我们可以实现在终端中进行更加丰富和个性化的输出。ANSI 转义序列是一种用于控制终端输出和显示的标准化方式。本篇博客介绍了 ANSI 转义序列的基本语法和常见的控制命令，包括文本样式控制、光标控制和清屏操作。
【杂记】ANSI、ANSI编码、ASCII编码、ASCII控制字符、ANSI转义序列
无数_Mirage的博客
09-20 3204
(American National Standards Institute)：美国国家标准协会。
ANSI转义代码（ANSI escape code）
anleng6817的博客
01-03 1384
ANSI escape code - Wikipedia linux 输出绿色的✓TRUE，红色的✗FALSE ： echo -e "\x1B[1;32m✓TRUE \x1B[0mXXX" echo -e "\x1B[1;31m✗FALSE \x1B[0mOOO" PS： \x1B为十进制27在 ASCLL 里代表ESC CMD 中得用 ANSI.SYS 转载于:https:...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值