DolphinScheduler里Zookeeper监控页面里显示的数据全是-1 （已解决）

最新推荐文章于 2025-02-17 15:53:55 发布
最新推荐文章于 2025-02-17 15:53:55 发布
阅读量1.3k 收藏 3
点赞数 2
分类专栏： 调度工具 文章标签： hadoop spark flink hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_52918377/article/details/116226860
版权
本文记录了在DolphinScheduler中遇到Zookeeper监控页面数据显示为-1的问题及其解决过程。尝试了修改Zookeeper配置、检查连接和高可用性，但未见效。社区解答指出可能需要在zoo.cfg文件中配置4lw.commands.whitelist=*，重启Zookeeper服务后问题得到解决。此配置涉及Zookeeper的四字命令，放开权限可能存在安全风险。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DolphinScheduler里Zookeeper监控页面里显示的数据全是-1 （已解决）

img

如图中所示，Zookeeper的监控内容没有显示。之后我做了如下验证：

  • Zookeeper相关的配置也没有问题
  • 能正常连接上Zookeeper
  • 集群的高可以经过验证也是可以的
  • 调整日志级别后，查看不到调用监控信息的详细日志
  • 打开开发者模式，也没有详细的日志

通过社区问答，找到类似相关问题，采用方案：

https://ask.youkuaiyun.com/questions/4645752?answer=29328783

在 zkServer.sh 里加一句末尾添加

ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"

我同步到zookeeper全部节点之后，重启zookeeper，重启DolphinScheduler，之后问题没有解决。

我在下面补充了我的提问，期间也通过DolphinScheduler发出过提问，后来有位老哥回复我，按照他的方法解决了这个问题：

最低0.47元/天 解锁文章
数仓工具——DolphinScheduler任务调度工具
yunweijie_cn的博客
03-07 2万+
数仓学习——DolphinScheduler任务调度工具前言一、DolphinScheduler简介1.DolphinScheduler概述2.DolphinScheduler组件3.DolphinScheduler核心架构二、DolphinScheduler部署说明1.软硬件环境要求1.1 操作系统版本要求1.2 服务器硬件要求2.部署模式2.1单机模式2.2 伪集群模式2.3 集群模式三、DolphinScheduler集群模式部署1.集群规划2.前置准备工作3.解压DolphinScheduler安装
DolphinScheduler【部署 01】分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享（一篇入门学会使用DolphinScheduler）(1)
2401_84297035的博客
05-04 1208
简介来自官方文档，进行简单整理：一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
记dolphinScheduler1.3.3由于zookeeper引起的bug
qq_32229585的博客
01-05 2327
1.背景 通过ds的调度中的datax节点将mysql的数据导入到hdfs形成ods层数据，每次导入的是当天新增与变化的数据，然后dwd层是以数据的创建时间划分的日期分区（当然这些不是重点）。 2.问题复现 集群是通过cdh进行部署的，然后在周六的时候因为zookeeper的某些延迟原因导致挂掉了，集群重启也没能很好的解决这个问题，但是呢好歹运行起来了，接着尝试重跑失败的工作流，虽然跑的速度比平时慢了点但是好歹也跑完了。 周一来上班之后，业务人员反馈数据不准确的问题，然后开始排查问题所在。 3.分
Zookeeper
demo小王子
02-27 246
概念背景 Zookeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务。 Zookeeper 翻译过来就是 动物园管理员，他是用来管 Hadoop（大象）、Hive(蜜蜂)、Pig(小 猪)的管理员。简称zk Zookeeper 是一个分布式的、开源的分布式应用程序的协调服务。 主要功能： 配置管理：配置中心。用于管理公共配置文件，方便变更 分布式锁：分布式锁组件。用于保证数据访问的安全性，对数据加锁，由服务器取锁来使用数据 集群管理：注册中心 Zooke
ZooKeeper以及DolphinScheduler的用法
DrKYQ的博客
05-04 2837
希望对大家有帮助，谢谢大家的支持！
DolphinScheduler工作流运行之后在工作流实例中查不到是什么原因？
weixin_44960120的博客
09-01 3323
首先查看一下监控中心的内存占用情况。 如果达到95%以上说明是虚拟机内存太小了，不足以创建实例。 题主今天用工作流创建实例时也是创建完查不到，看了一下监控中心发现内存占用达到了98%，4G的虚拟机内存太小了，给虚拟机的内存分配到8G之后就好了。 如果不是这个原因建议再去看一下./dolphinscheduler/logs里面的日志。 ...
【已解决】DolphinScheduler连接Zookeeper超时定位
Red_super的博客
03-29 2438
DolphinScheduler 使用 ZooKeeper 作为注册中心，实现了服务的注册与发现。在分布式系统中，注册中心的作用是管理服务实例的信息，并允许其他服务在需要时发现和连接到这些实例。
DolphinScheduler学习
qq_24045275的博客
07-24 881
DolphinScheduler是Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。然后有对应的相关名词介绍：如DAG 全称 Directed Acyclic Graph，简称 DAG。工作流中的 Task 任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。举例如下图：下面是百度到对dag的理解。
DolphinScheduler × Jiron：打造高效智能的数据调度新生态
09-06 1639
jiron数据开发平台工做流模块介绍
DolphinScheduler3 对 Zookeeper 兼容版本的问题解决
SunTecTec
12-11 1677
2、3、
深入了解海豚调度DolphinScheduler
男神的专栏
05-31 4832
容错后处理：ZooKeeper Master容错完成之后则重新由DolphinScheduler中Scheduler线程调度，遍历 DAG 找到”正在运行”和“提交成功”的任务，对”正在运行”的任务监控其任务实例的状态，对”提交成功”的任务需要判断Task Queue中是否已经存在，如果存在则同样监控任务实例的状态，如果不存在则重新提交任务实例。在这种架构下，集群中的管理者是被动态选择出来的，而不是预置的，并且集群在发生故障的时候，集群的节点会自发的举行"会议"来选举新的"管理者"去主持工作。
DolphinScheduler大数据调度系统
Im ok的博客哦
06-30 1万+
一、背景 在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具： 易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师; 解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态; 支持多租户; 支持许多任务类型：Shell，MR，Spa
DolphinScheduler3.1简介、部署、功能介绍以及架构设计
wt334502157的博客
11-20 8433
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
DolphinScheduler3.1.3版本集群搭建
qq_43541182的博客
02-21 2632
DolphinScheduler最新版本的集群搭建
非常全面的DolphinScheduler(海豚调度)安装使用文档
热门推荐
u011250186的博客
05-26 2万+
1. DolphinScheduler的安装 1.1安装环境 1.hadoop2.9.2 2.CentOS7.5 3.JDK1.8 4.Mysql5.7 5.Zookeeper-3.4.14 1.2安装说明 1.这里直接使用root用户进行安装,如果是使用普通用户安装,需要开启sudo免密和集群各节点之间实现ssh免密. 2.配置/etc/hosts文件,做好主机名与ip之间的映射. 3.安装ds的各台机器之间需要做ssh免密登陆(安装ds的用户之间的免密) ...
dolphinscheduler部署zk错误
teak_on_my_way的博客
02-17 180
这是由于zookeeper 版本不对，请使用3.8.0版本以上的zookeeper。
DolphinScheduler海豚调度教程
m0_46168848的博客
05-04 1万+
DolphinScheduler 教程Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署去中心化的多Master和多Worker
dolphinscheduler分布式集群部署指南(小白版)
最爱嫣夜来
01-17 7775
摘自官网：Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
04.DolphinScheduler使用详细介绍
jast
04-26 4412
IN 是在当前运行脚本中生效OUT 是在DAG图的下一个脚本生效本样例展示了如何使用本地参数，打印输出当前日期。创建一个 Shell 任务，并编写脚本内容为echo ${dt}。点击配置栏中的自定义参数，配置如下图所示：dt：参数名IN：IN 表示局部参数仅能在当前节点使用，OUT 表示局部参数可以向下游传递DATE：数据类型，日期$[yyyy-MM-dd]：自定义格式的衍生内置参数保存工作流并运行，查看 Shell 任务输出日志。参数传递。
海豚调度 spark
最新发布
03-18
### DolphinScheduler与Spark的集成及使用 DolphinScheduler 是一种分布式工作流任务调度系统，支持多种计算框架的任务编排和管理。其中，与 Apache Spark 的集成是一个常见的需求场景。 #### 1. **环境准备** 在开始之前，需确保已安装并配置好以下组件： - Hadoop 和 YARN（如果计划运行在集群模式下） - ZooKeeper（用于协调 Master 节点以及 Worker 节点之间的通信[^4]） - MySQL 或其他兼容数据库（用于存储元数据） 对于 Spark 集成部分，建议下载预编译版本的 Spark 并将其部署到目标环境中。此外，还需确认 Spark 版本与 DolphinScheduler 支持的版本一致[^2]。 --- #### 2. **修改配置文件** ##### (a) 修改 `application.properties` 文件 进入 DolphinScheduler 安装目录下的 `conf` 文件夹，编辑 `application.properties` 文件： ```properties # 设置 Spark Home 路径 ds.task.spark.home=/path/to/spark # 如果需要指定额外的 JAR 包路径，则可以在此处定义 ds.task.spark.extraJars=/path/to/extra/jars/*.jar ``` 上述设置指定了 Spark 执行所需的根目录位置及其依赖项所在的位置[^3]。 ##### (b) 更新 `environment.sh` 同样位于 `conf` 下面找到名为 `environment.sh` 的脚本，在里面添加如下变量声明以便于后续调用时能够自动加载这些参数： ```bash export SPARK_HOME="/path/to/spark" export PATH=$SPARK_HOME/bin:$PATH ``` 完成以上更改之后保存退出即可生效。 --- #### 3. **创建 Spark 类型的工作流节点** 登录至 DolphinScheduler Web UI 页面后新建项目，并按照提示逐步构建流程图结构；当新增具体操作单元时可以选择 “Shell”, "Flink", 及我们关心的目标选项——即“Spark”。 填写必要字段比如名称描述等基本信息之外还需要特别注意以下几个方面： - **Main Class**: 输入主程序入口类全限定名。 - **App Args**: 提供给应用程序启动过程中需要用到的一些命令行参数字符串形式表示出来。 - **Driver Cores / Executor Memory etc...**: 根据实际业务负载情况合理分配资源配额大小数值单位通常为GB级别衡量标准[^1]. 最后记得测试连接成功与否再提交执行！ --- #### 4. **监控日志查看** 一旦作业被触发运行起来以后就可以通过界面左侧导航栏中的【运维中心】-> 【任务实例】来追踪状态变化轨迹同时也能实时获取打印出来的控制台输出内容便于排查潜在错误原因分析定位问题根源所在之处. --- ### 总结说明 综上所述完成了从基础软硬件设施搭建直至高级功能模块启用整个过程概述介绍希望能够帮助大家快速入门掌握如何正确有效地利用Apache DolphinScheduler平台来进行日常ETL处理或者其他复杂大数据应用场景开发实践当中去. ```python from pyspark.sql import SparkSession spark = ( SparkSession.builder.appName("example") .config("spark.some.config.option", "some-value") .getOrCreate() ) dataframe = spark.read.format('csv').option('header', 'true').load('/input/path') dataframe.show() spark.stop() ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值