本文详细介绍了StreamSets中Executor类组件的功能与使用方法，包括如何响应事件触发任务，如文件元数据修改、邮件发送、数据库查询等。并演示了如何配置PipelineFinisher组件在数据流读取完毕后自动停止。
主要介绍StreamSets-Executor类组件有哪些、分类、主要用途以及使用方法。
Executor类组件主要在收到事件时会触发任务。
Executor类组件主要包含以下：
ADLS Gen1 File Metadata // 收到事件后，更改文件元数据，创建一个空文件或删除Azure Data Lake Storage Gen1中的文件或目录。
ADLS Gen2 File Metadata // 收到事件后，更改文件元数据，创建一个空文件或删除Azure Data Lake Storage Gen2中的文件或目录。
Amazon S3 // 为指定的内容创建新的Amazon S3对象，复制存储桶中的对象，或将标签添加到现有的Amazon S3对象。
Databricks Job Launcher // 收到事件记录后启动指定的Databricks作业。
Databricks Query // 收到事件后在Databricks上运行Spark SQL查询。
Email // 在收到事件后向配置的收件人发送自定义电子邮件。
HDFS
最低0.47元/天 解锁文章
扫一扫
到【灌水乐园】发言
