大数据——配置并启动集群/开启历史服务器和日志聚集

最新推荐文章于 2024-03-06 16:45:53 发布
原创 最新推荐文章于 2024-03-06 16:45:53 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #spring #maven

本文详细介绍了如何配置Hadoop集群，包括部署规划、配置文件修改、集群启动，以及历史服务器和日志聚集的设置。在测试环节，通过上传文件到HDFS和查看YARN资源调度，验证了集群的正常运行。

这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。

部署规划#

hadoop102 hadoop103 hadoop104
HDFS NameNode、DataNode DataNode SencondNameNode、DataNode
YARN NodeManager ResourceManager、NodeManager NodeManager
  • NameNode和SecondNameNode不要安装在同一台服务器上
  • ResourceManager也很消耗内存，不要和NameNode、SecondNameNode配置在同一台机器上

配置文件#

1、默认配置文件

默认配置文件可在对应的jar包中找到

配置文件 配置文件位置
core-default.xml hadoop-common-3.1.3.jar/core-default.xml
hdf-default.xml hadoop-hdfs-3.1.3.jar/hdfs-default.xml
yarn-default.xml hadoop-yarn-common-3.1.3.jar/yarn-default.xml
mapred-default.xml hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2、自定义配置文件

在$HADOOP_HOME/etc/hadoop中

文章使用的时/opt/module/hadoop-3.1.3/etc/hadoop

配置集群#

所有操作在swcode用户进行，非root

在hadoop102上配置

最低0.47元/天 解锁文章
大数据领域 Hadoop 集群资源分配的优化方法
AI 领航者的博客
09-09 361
本文章的主要目的是深入研究大数据领域中 Hadoop 集群资源分配的优化方法，以提高 Hadoop 集群的资源利用率和作业处理效率。具体范围涵盖了 Hadoop 集群资源分配的核心概念、常见的调度算法、相关的数学模型，通过实际项目案例展示优化方法的应用，探讨其在不同场景下的应用情况，并推荐学习和开发所需的工具和资源。本文将按照以下结构进行阐述：首先介绍 Hadoop 集群资源分配的核心概念与联系，包括相关原理和架构；接着讲解核心算法原理及具体操作步骤，并给出 Python 代码示例；
hadoop集群优化(四)：开启历史任务服务器
幻神舞的专栏
06-18 868
开启任务服务可增强对任务执行状态的查验，配合日志汇聚服务，加快任务的查看和异常追踪。系统学习是一个缓慢的量变引发质变的过程，加油加油。
Hadoop(5) 历史服务其和日志聚集的配置、集群时间同步
Alaskyed的博客
12-25 367
Hadoop(五) 历史服务其和日志聚集的配置、集群时间同步的配置 历史服务器 为了查看程序的历史运行情况,需要配置一下历史服务器 配置mapred-site.xml 打开mapred-site.xml,在configuration标签里面添加以下内容: <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhi...
hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)
求是
11-21 2750
文件路径：/opt/module/hadoop-3.3.4/etc/hadoop。4. 将此文件分发到其他机器：（或者手动复制过去也行，每台机器的这个文件都需要改下）1. 配置了三台服务器，hadoop22, hadoop23, hadoop24。2. hadoop文件路径: /opt/module/hadoop-3.3.4。文件名称：mapred-size.xml。新增历史服务器配置，并修改为自己的地址。5. 重新启动yarn, hdfs集群。
开启历史服务器&yarn操作
qq_43633616的博客
06-15 451
1
Hadoop配置历史服务器
zhongmingyu
03-01 404
1、 编辑mapred-site.xml ，新增部分配置。3、在hadoop102启动历史服务器。2、hadoop103重启yarn。
大数据入门级学习——Hadoop集群搭建总结（VM+centOS7）
不撸先疯。
10-11 2187
步入大数据的第一步： 必须学会搭建大数据集群的框架 那么第一步必须要在linux系统上搭建Hadoop集群 一、安装并配置虚拟机（centOS7） 先在VM中创建一台虚拟机（VM傻瓜式安装即可）： 下面简单介绍一下安装centOS7的过程： 安装centOS7的过程（安装桌面版）： 安装完成，下面开始配置： 注意：centOS6与centOS7的配置选项不同！（如果安装的是centOS6，最后的文件夹为......
Hadoop配置日志的聚集——jobhistory不显示任务问题
最新发布
Aurora__213的博客
03-06 1066
到这里都没有错，找了半天发现是前面配置的mapred-site.xml出错了，就是如果设置日志聚集的话，前面配置的mapred-site也需要修改一下配置。一开始job history是正常的，配置了日志的聚集以后不管做什么任务都不显示任务，hdfs是正常运行，而且根据配置步骤都重启过了。这样就改好了，出现类似问题的话，大部分就是mapred-site和yarn-site这两个文件没有配置好，就可以多检查几遍看看。修改以后在分发一下，重新启动就好了，运行命令也有记录了。1.配置yarn-site.xml。
大数据系列——Flink理论
mql007007的博客
05-09 2879
Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala实现。Flink以REST资源的形式和外部进行交互，所以可以集成在所有常见的集群资源管理环境中运行，同时提供计算状态的容错及持久化机制，基于Event（事件）驱动并行化在集群中运行，理论上可以利用无限数量的CPU，内存，磁盘和网络IO，实现任意规模的计算任务。
hadoop搭建：历史服务配置启动
weixin_40434214的博客
02-25 2821
历史服务配置启动查看 1）配置mapred-site.xml mapreduce.jobhistory.address hadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:19888 ### 2）查看启动历史服务器文件目录： [root@hadoop101 hadoop-2.7.2]# ls sbin/...
Flink 1.17教程：历史服务器History Server
学亮编程手记
09-01 853
容器化部署是如今业界流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（k8s），而Flink也在最近的版本中支持了k8s部署模式。基本原理与YARN是类似的，具体配置可以参见官网说明，这里我们就不做过多讲解了。
第四记·YARN配置以及启动、历史服务配置启动
玖局下半的博客
05-27 6172
YARN与历史服务配置 XY个人笔记任务调度 （Mapreduce） 资源管理（resourcemanager nodemanager）【Yarn架构】主从架构：    主节点ResourceManager     从节点NodeManager1. ResourceManager（RM）   全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配2. ApplicationMaste...
历史服务器、日志聚集、集群时间同步
weixin_39868387的博客
11-20 248
[root@hadoop100 hadoop]# ssh hadoop102 "jps" bash: jps: command not found 执行脚本变量 [root@hadoop100 hadoop]# ssh hadoop102 "source /etc/profile && jps" 11028 NodeManager 10588 SecondaryNameNode ...
hadoop日志聚集功能配置
Jackson_Father的博客
01-13 592
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。 配置yarn-site.xml 增加配置 <!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 设置日志聚集服务器地址 -
各个服务器启动命令
weixin_30247159的博客
07-31 296
nginx： [root@LinuxServer sbin]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf redis: ./redis-server 转载于:https://www.cnblogs.com/wang--lei/p/7264719.html
配置Hadoop历史服务器
weixin_43497444的博客
02-24 481
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下： 1. 配置mapred-site.xml 编辑hadoop下载地址下的etc/hadoop/mapred-site.xml文件 在文件中添加下图红框内容 2. 启动历史服务器 3.查看历史服务器是否启动 ![在这里插入图片描述](https://img- ...
Hadoop 开启 histotryserver
热门推荐
桃李不言下自成蹊
04-13 8万+
上传一个测试任务，其中 /wordcount/input 中包含有一个txt文件，可以自行创建任意内容，输出到名为 /wordcount/result 的目录中。Hadoop自带了一个历史服务，可以通过历史服务在web端查看已经运行完的Mapreduce作业记录，mapreduce.jobhistory.webapp.address 历史服务器web端的端口。mapreduce.jobhistory.address 启动历史服务器的端口，配置文件在hadoop文件夹下的etc/hadoop中。
Hadoop总结 五 配置历史服务器 配置集群日志
千山暮雪CN
07-28 465
Hadoop总结 五 配置历史服务器 配置集群日志 5.1 配置历史服务器 配置mapred-site.xml 在该文件中增加如下配置 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop103:10020</value> </property> <!-- 历史服务器web端地址 -
hadoop配置历史服务器
weixin_44870066的博客
05-03 1272
1、修改mapred-site.xml，在/opt/module/hadoop-2.7.2/etc/hadoop目录下，增加如下内容 [xiong@hadoop102 hadoop]$ vim mapred-site.xml 在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:1002
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值