大数据调度平台之Rundeck生产实践_rundeck kettle-优快云博客

本文介绍了大数据调度平台Rundeck的安装部署、配置QQ邮箱服务以及调度Shell脚本任务的实践过程。在部署Rundeck时，需要Java环境，并通过配置hosts文件实现访问。创建Rundeck项目和job，调度shell脚本，并尝试使用QQ邮箱发送通知，但在实际操作中遇到云主机限制。此外，文章还提到了Rundeck在数据仓库项目中的应用。

一、大数据调度平台有哪些?

1.1、安装部署Rundeck
1.2、Rundeck配置QQ邮箱服务

二、Rundeck调度shell脚本任务

一、大数据调度平台有哪些？

1、XXL-JOB、Rundeck、Azkaban

1.1、安装部署Rundeck

官网：https://www.rundeck.com/open-source
分为企业版、社区版；企业版主要多了一个workflow的图表，对于我们使用社区版即可，直接点击如下图的Download Rundeck Community按钮即可；

前提条件：
需要有java jdk环境，我的环境是jdk1.8
部署步骤如下：

1、使用wget命令进行下载，右键拷贝download rundeck community的链接
wget https://dl.bintray.com/rundeck/rundeck-maven/rundeck-3.2.5-20200403.war

2、安装目录如下：
[hadoop@hadoop001 software]$ pwd
/home/hadoop/software
[hadoop@hadoop001 software]$ ll rundeck-3.2.5-20200403.war 
-rw-r--r-- 1 hadoop hadoop 165504713 Apr 12 21:54 rundeck-3.2.5-20200403.war

3、安装完后使用nohup后台启动：
nohup java -jar rundeck-3.2.5-20200403.war &
[1] 6201
[hadoop@hadoop001 software]$ nohup: ignoring input and appending output to `nohup.out'

4、后台启动后查看打印出来的日志：网站启动的地址：www.hadoop001:4440
tail -F nohup.out

Configuring Spring Security Core ...
... finished configuring Spring Security Core

[2020-04-12 22:02:45.273]  INFO BootStrap --- [           main] Starting Rundeck 3.2.5-20200403 (2020-04-04) ...
[2020-04-12 22:02:45.281]  INFO BootStrap --- [           main] using rdeck.base config property: /home/hadoop/software
[2020-04-12 22:02:45.283]  INFO BootStrap --- [           main] Performing rundeck first-run initialization...
[2020-04-12 22:02:45.470]  INFO BootStrap ---