解决用海豚调度时,yarn处理大量并发任务很慢的问题

已于 2022-04-22 10:13:43 修改
阅读量3k 收藏
点赞数
文章标签： ambari hive hadoop yarn TEZ
于 2022-04-22 09:53:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43382750/article/details/124338031
版权
本文主要描述了在使用海豚调度时遇到的问题，即工作流中二十多个Hive SQL并发执行时，YARN只能同时处理两个任务且速度缓慢。通过调整Tez会话超时时间和在Ambari上为YARN创建新的队列分配资源，成功提升了处理效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

公司用的海豚调度,工作流里同时运行了二十多个插入sql,yarn只有两个任务同时运行,并且一直在卡这,到获取tez session这不动

,检查了下tez的超时时间,600s改成了10s,
在这里插入图片描述

同时在ambari上给yarn增加了一个队列hive,各分50
在这里插入图片描述

在这里插入图片描述
添加了并刷新保存
我添加了这段无关代码,csdn智障机器人就不会说我质量不行

BATCH/批处理命令
1
2
3
@echo off
echo Hello, World!
pause
易语言
1
信息框（“Hello, world!”,0,,）
GBasic
最低0.47元/天 解锁文章
Wingsdream
关注
国产之光-海豚调度器的入门知识篇
大模型大数据攻城狮的专栏
10-31 1355
Apache DolphinScheduler是一个。
无人值守大数据平台（CDH6.3.2+Flink+海豚调度器）如何实现大数据平台稳定及顺利跑出离线报表和实时报表（持续更新方案）
大模型大数据攻城狮的专栏
08-03 847
这样，即使某个磁盘发生故障，也能通过其他磁盘上的数据来恢复丢失的信息，从而保证数据的完整性和可访问性。利用 Hadoop 的高可用和容错特性，如 DataNode 的自动恢复和 NameNode 的 HA 配置，提高系统的容错能力：当 DataNode 出现故障时，Hadoop 可以自动从其他正常的 DataNode 上恢复数据。通过上述组件的高可用配置，CDH6.3.2 能够确保大数据平台在面对硬件故障、网络问题或其他意外情况时，仍能保持服务的连续性和数据的完整性。
Hadoop Yarn延迟调度分析（Delay Schedulering）
weixin_35792948的博客
08-09 1199
大规模集群中，对数据本地化（data loality）的优化，可以减少很多网络IO，变成本地的磁盘IO，而磁盘的IO比网络的IO快很多，这对降低集群的IO负载以及增加集群的吞吐量是很有益处的，所以我对Yarn中的延迟调度进行分析，尝试提高作业中任务所在容器的调度本地化命中率。 我们从自带的延迟调度的单元测试入手进行分析： @Test public void testDelaySchedul...
大数据集群yarn任务延迟问题调查
qingchen191的专栏
12-13 1877
大数据集群yarn任务延迟竟然是因为机器的光口有问题导致的。
Apache DolphinScheduler：一个可视化大数据工作流调度平台
最新发布
Tony.Dong的专栏
03-18 1291
Apache DolphinScheduler（海豚调度）是一个分布式易扩展的可视化工作流任务调度开源系统，适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
DolphinScheduler运维-页面加载缓慢
zcs2312852665的博客
03-19 1376
DolphinScheduler调度平台的UI界面加载缓慢，项目中的任务实例加载时间过长，需要解决这个问题，提高DolphinScheduler平台UI页面的加载速度。
12-海豚调度器DolphinScheduler
qq_43819048的博客
09-11 5243
自定义日期格式$[yyyyMMdd]也可以写成$[yyyy-MM-dd]$[HHmmss] 也可以添加: $[HH:mm:ss]
海豚调度 dolphinscheduler-2.0.5 星环驱动包踩坑（二）worker服务正常、zk注册正常，心跳时间不更新，也不执行任务，任务一直处于执行中状态
02-18 1429
通过jps命令、包括页面中心查看worker服务注册情况，都没有发现问题，接触调度这么久，如果报错的话，worker服务根本不会启动成功，简单看了下最新日志，也没有异常，奇了怪了！之前分享过海豚调度2.0.5连接星环库使用记录，后来说存储过程又出现了超时的情况，原因是因为调度星环驱动包和生产星环库驱动包不一致，运维人员对调度驱动包进行了升级（星环驱动包有内嵌了很多常用jar包，冲突真是家常便饭，目前通过删除jar包中的类或整个目录可以解决。后来排查其它问题时，我发现有两台服务器，上面的服务根本没启动成功。
DolphinScheduler海豚调度教程_海豚调度使用说明
2401_89733496的博客
12-20 2103
本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本.
集群搭建系列（十七）dolphinscheduler 小海豚调度
rocky_24的博客
06-17 5112
国产牛逼系列 dolphinscheduler 文章目录国产牛逼系列 dolphinscheduler1 调度工具对比话不多说 直接开干安装包部分 TODO基础搭建解压缩，重命名mysql 依赖 ip 改一下，注释源 postgresql运行 MySQL 初始化脚本运行环境修改一键部署配置文件 conf/config/install_config.conf启动一键部署登录系统 1 调度工具对比 以往使用 azkaban 虽然并发够，但是面临运维问题也很大。 1 大半夜 调度任务挂了，酸爽了，半夜调
dolphinscheduler调度hive
lyq7269的博客
03-11 2815
找到dolphinscheduler的lib目录，移除hive*.jar 原因： 可能hive的jar包与你自己安装的jar包不同，这时需要将你自己的hive下相应的jar包放入进来。 操作命令 cd /opt/dolphinscheduler/lib/ mv hive* /tmp 这里最好是移动到tmp目录下，不要删除，删除也没关系 将自己安装的hive下的lib目录下的jar包复制到dolphinscheduler的lib目录下 需要复制的jar包，对应的命令（目录有变化自行修改） cp /o
任务调度器-DolphinScheduler调优-并发设置
白杨Shayne的博客
06-01 2615
这是两个非常有用的参数，通过控制并发的任务和流程，从而控制同一时间需要的资源，避免任务一下全部拉起来，导致资源耗尽使进程退出；设置了并发后，等于是把资源使用的峰值给抹平了，master-server和worker-server没有再出现进程退出和内存分配失败的异常。
DolphinScheduler定期清除工作流
iisbeginner的博客
10-11 1746
由于工作流实例以及任务实例过多，准备只保留两天的任务记录。创建工作流实例临时表保存两天的id。创建任务实例临时表保存两天的id。保留两天工作流实例日志。保留两天的任务实例日志。
Hadoop Yarn详解
sysocc的博客
05-23 357
YARN通过两类长期运行的守护进程提供自己的核心服务： resource manager——管理集群上资源使用的资源管理器 node manager——运行在集群中所有节点上，且能够启动和监控容器（container） YARN上如何运行一个应用： 客户端联系资源管理器（ResourceManager），要求它运行一个Application Master进程（上图步骤1） ResourceManager找到一个能够在容器（Container）中启动application master的节点
Apache DolphinScheduler（海豚调度系统）介绍与环境部署
匠人精神，持之以恒！
06-18 5856
Apache DolphinScheduler（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。
datax优化之reader提速-详细经历
cclovezbf的博客
12-09 2万+
首先说明下，个人认为reader提速最重要的一点就是切分任务即split这块 背景：一直用datax从oracle到hive数据，一般是1w-2w条/s也凑合用了，但是最近导DM_F_REV_FULL_LIFE_CYCLE_IMS表 该表根据月在hive分区，每个分区数据在200w-1000w左右，数据量也不算特别大但是速度只有4M/s 速度不到7000条/s, { "job":{ "setting":{ "speed":{ "c
海豚调度器（DolphinScheduler）生产环境问题及解决方案汇总（持续更新）
大模型大数据攻城狮的专栏
05-09 1417
解决方案：工作流定义无法保存可能是由于前端UI的bug或后端服务的问题。首先，检查UI是否有错误信息，确认用户操作是否正确。然后，检查API服务器的日志，查看是否有关于工作流定义保存的错误记录。如果后端服务出现问题，可能需要调整数据库连接或优化数据库性能。对于前端问题，尝试清除浏览器缓存或使用不同的浏览器再次尝试。问题描述解决方案：工作流定义无法提交可能是由于Web界面的bug或者后端服务的问题。首先，检查Web界面是否有错误信息提示，确认用户操作是否正确。
深入了解海豚调度DolphinScheduler
热门推荐
zhengzaifeidelushang的博客
11-14 5万+
深入了解海豚调度DolphinScheduler
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值