Dr.Elephant在CDH上的部署

最新推荐文章于 2024-05-14 09:37:29 发布
最新推荐文章于 2024-05-14 09:37:29 发布
阅读量2.2k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Apache 文章标签： DrElephant cdh 部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012948976/article/details/51623513
本文详细介绍了如何在CDH集群上部署Dr.Elephant，包括传输编译好的文件，安装MySQL，修改配置，启动服务以及解决遇到的两个问题：MySQL版本过低和无法监控Spark作业。针对问题1，升级到Mysql 5.5+解决启动报错；对于问题2，修改Spark配置以满足Dr.Elephant对日志格式的要求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

续Dr.Elephant的安装及使用 。

Dr.Elephant在CDH上的部署

将之前编译好的文件部署到CDH集群上，步骤如下，

  1. 传输包
    在Cloudera Manager界面查看JobHistory Server所在的主机，比如为lyhadoop4.com。
    将之前编译好的文件传输到该主机上（不确定安装到其余主机能不能正常运行）。

  2. 安装mysql
    参见 linux下安装及启动mysql 。进入mysql并新建数据库drelephant。

    mysql -u root -p
create database drelephant

  3. 修改配置
    进入dr-elephant安装目录， 修改conf/app-conf/elephant.conf中关于数据库连接的配置。

  4. 启动及查看

    1. 设置start.sh中的配置文件路径
      export ELEPHANT_CONF_DIR=your-appconf-path
    2. 启动：bin/start.sh。注意查看启动日志（安装目录下的dr.log），看是否报错。
    3. 查看：打开http://lyhadoop4.com:8080，看是否有作业被监控

问题记录

<
最低0.47元/天 解锁文章

200万优质内容无限畅学
Dr.elephant 编译完成文件 hadoop2.4.1 spark1.6.0
10-23
dr elephant hadoop 2.4.1 spark 1.6.0 编译完成的.zip 需要 part2中的jar包 放入lib下
Dr.Elephant部署指南 - 【Dr.Elephant系列文章-4】
老屈长谈
04-28 1917
本文介绍了如何在集群上安装部署Dr.Elephant以及如何启动/停止Dr.Elephant。
Dr.Elephant简介 - 【Dr.Elephant系列文章-1】
老屈长谈
04-26 7346
Dr.Elephant被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具，它能够自动收集Hadoop平台所有的度量标准，并对收集的数据进行分析，最终以一种简单且易于理解的形式展示出来。Dr.Elephant的设计目的是通过指导Hadoop/Spark开发者对其任务进行便捷的优化，从而提高开发者的效率以及Hadoop集群的使用效率。在Dr.Elephant中定义了一系列的启发式算法(
Dr.Elephant 部署启动详细流程
老屈长谈
05-06 3282
这部分介绍自己在部署和启动Dr.Elephant过程总结的一些经验，希望对大家有帮助。
Hadoop监控分析工具Dr.Elephant
weixin_33908217的博客
01-04 257
公司基础架构这边想提取慢作业和获悉资源浪费的情况，所以装个dr elephant看看。LinkIn开源的系统，可以对基于yarn的mr和spark作业进行性能分析和调优建议。DRE大部分基于java开发，spark监控部分使用scala开发，使用play堆栈式框架。这是一个类似Python里面Django的框架，基于java?scala?没太细了解，直接下来就能用，需要java1.8以上。prer...
dr.elephant 环境搭建及使用详解
热门推荐
简单就好
06-23 1万+
Dr.elephant是一款对Hadoop和Spark任务进行性能监控和调优的工具，它由LinkedIn的团队于2016年开源，开源之前已经在公司运行使用2年。目前使用Dr.elephant的公司国内的有Didi，国外的有airbnb、inmobi、hulu、FourSquare和PayPal等等。 项目地址：https://github.com/linkedin/dr-elephant笔者所在公
Dr.elephant编译文件完成下载指南
Elephant而言，编译完成的文件可能包含了各种jar包，这些jar包是Java项目构建的成果，包含了类文件和元数据，可用于在Java虚拟机上部署和运行应用程序。 4. **版本号意义** - 在本文件中，提到的Hadoop版本为...
藏经阁-Dr.Elephant for Monitoring & T.pdf
08-28
藏经阁-Dr.Elephant for Monitoring & T.pdf
综述 - 【Dr.Elephant源码分析系列文章-1】
老屈长谈
05-20 1747
Dr.Elephant是LinkedIn于2016年4月开源的一个Hadoop平台性能调优工具。我们可以从这个链接获取源码：https://github.com/linkedin/dr-elephant。 Dr.Elephant的问世将改变Hadoop/Spark用户的开发习惯，同时也将大大减少Hadoop平台开发者和管理者的负担。可以预见到，在未来较短的一段时间内，Dr.Elephant将会存
大数据测试学习笔记之监控工具Dr.Elephant
zhusongziye的博客
03-26 1766
大数据测试学习笔记之监控工具Dr.Elephant随着大数据测试方面的学习扩展得越来越多，开始找了些关于大数据技术方面的监控工具，本文主要介绍linkedin开源的Dr.Elephant监控工具。介绍一句话介绍：Dr.Elephant是Apache Hadoop和Apache Spark的job级和工作流级性能监视和调优工具。由Linkedin开源贡献，github地址为：https://gith...
dr-elephant:Elephant博士是针对Apache Hadoop和Apache Spark的作业和流程级别的性能监控和调整工具
05-01
大象博士 Elephant博士是针对Hadoop和Spark的性能监视和调整工具。 它会自动收集所有指标，对它们进行分析，并以简单的方式呈现它们以便于使用。 它的目标是通过更轻松地调整作业来提高开发人员的生产率并提高集群效率。 它使用一组可插拔的，可配置的，基于规则的试探法来分析Hadoop和Spark作业，这些试探法可提供有关作业执行情况的见解，然后使用结果提出有关如何调整作业以使其更有效地执行工作的建议。 文献资料 有关Dr. Elephant的更多信息，请在查看Wiki页面。 有关快速设置的说明： 开发人员指南： 管理员指南： 用户指南： 工程博客： 邮件列表和Github问题 Google网上论坛邮件列表：（达到上限！请创建github问题） Github问题： 会面 我们已经安排了每周一次的Dr. Elephant博士会议，供有兴趣的开发人员和用户讨论Dr. Elephan
dr-elephant hadoop2.6.0 64位编译文件
10-15
linkedin的dr-elephant 编译文件，在centos 7(64位)下进行编译，支持 hadoop 2.6.0 , spark 1.x 版本。
dr-elephant-master-spark2.0.zip
08-23
dr-elephant-master-spark 源码，支持spark 2.0.1版本
Dr.Elephant的安装及使用
ASIN的专栏
06-10 3249
简介参见LinkedIn开源Dr.elephant。 “大象医生”是LinkedIn推出的一款Hadoop和Spark性能调节工具。根据LinkedIn软件工程师Akshay Rai在其微博中的介绍，这款工具将更好的帮助用户理解、分析并提高他们的工作效率。 安装要点1. 安装 Play framework最新的Play Framework的执行命令为activator，并而不是play。故需安装
【亲测免费】 推荐使用：Dr. Elephant - 智能Hadoop与Spark性能优化助手
最新发布
gitblog_00084的博客
05-14 495
推荐使用：Dr. Elephant - 智能Hadoop与Spark性能优化助手 项目介绍 在大数据处理领域，Hadoop和Spark是不可或缺的两大利器。然而，如何有效监控并优化这些分布式系统的工作性能，一直是困扰开发者的难题。Dr. Elephant 正是为了解决这一问题而生，它是一个自我服务的性能监测和调优工具，通过自动化分析和建议，帮助开发者提高工作效率，提升集群效率。 Dr. Elep...
dr.elephant环境搭建及使用详解
liyanling的博客
10-11 1537
Dr.elephant是一款对hadoop、Hive和Spark任务进行性能监控和调优的工具，它由LinkedIn的团队于2016年开源。 一、环境搭建 整体环境：dr.elephant 2.0.13, hadoop 2.6.5, spark 2.2.3 1.jdk8安装 2.play framework安装 1）play framework下载解压 下载Play,在页面的最下部找到安...
Dr Elephant（HIVE JOB监控调优）安装使用
xw514124202的博客
10-24 770
一、简单介绍 Dr.elephant是一款对Hadoop和Spark任务进行性能监控和调优的工具 官方介绍：https://github.com/linkedin/dr-elephant/wiki github地址：https://github.com/linkedin/dr-elephant 安装文档：https://github.com/linkedin/dr-elephant/wiki/Q...
Dr.Elephant用户指南 - 【Dr.Elephant系列文章-2】
老屈长谈
04-27 6840
这篇文章介绍怎么样使用Dr.Elephant来进行任务分析。 UI首页 Dr.Elephant启动后，首页如下： 集群统计信息 首页的灰色部分包含了最新的集群信息。这部分列出了最近24小时分析过的任务数量、可以进行优化的任务数量以及亟待优化的任务数量。 最新任务统计 这一部分列出了最近一段时间分析的任务。 搜索页 首页点击“Search”进入
大数据平台作业智能诊断/管理组件之Dr.Elephant
光于前裕于后的博客
11-23 929
源码及官方文档见：https://github.com/linkedin/dr-elephant 目录前言一、Dr.Elephant 介绍二、Quick Setup Instructions三、遇到的问题 前言 随着业务开展，公司在大数据集群上的作业越来越多，而程序员的水平参差不齐，有些程序跑起来没有任何问题，但占用了极大的资源。为了改善这种情况，我最近调研了两个开源的大数据平台作业智能诊断/管理组件，本文先分享Dr.Elephant。 一、Dr.Elephant 介绍 Dr.Elephant被定位成一个对
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值