Dr.Elephant在CDH上的部署

本文详细介绍了如何在CDH集群上部署Dr.Elephant,包括传输编译好的文件,安装MySQL,修改配置,启动服务以及解决遇到的两个问题:MySQL版本过低和无法监控Spark作业。针对问题1,升级到Mysql 5.5+解决启动报错;对于问题2,修改Spark配置以满足Dr.Elephant对日志格式的要求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Dr.Elephant的安装及使用


Dr.Elephant在CDH上的部署

将之前编译好的文件部署到CDH集群上,步骤如下,

  1. 传输包
    在Cloudera Manager界面查看JobHistory Server所在的主机,比如为lyhadoop4.com。
    将之前编译好的文件传输到该主机上(不确定安装到其余主机能不能正常运行)。
  2. 安装mysql
    参见 linux下安装及启动mysql 。进入mysql并新建数据库drelephant。

    mysql -u root -p
    create database drelephant
    
  3. 修改配置
    进入dr-elephant安装目录, 修改conf/app-conf/elephant.conf中关于数据库连接的配置。

  4. 启动及查看

    1. 设置start.sh中的配置文件路径
      export ELEPHANT_CONF_DIR=your-appconf-path
    2. 启动:bin/start.sh。注意查看启动日志(安装目录下的dr.log),看是否报错。
    3. 查看:打开http://lyhadoop4.com:8080,看是否有作业被监控

问题记录

<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值