Exec Source使用及源码分析

最新推荐文章于 2025-05-21 16:52:51 发布

原创

最新推荐文章于 2025-05-21 16:52:51 发布 · 5.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Exec Source #Flume

Exec Source作为Flume的数据源，运行Unix命令并捕获持续输出的数据。当进程退出时，Exec Source也随之停止。文章介绍了Exec Source的配置要点，如实时性与数据丢失问题，建议在可靠性要求高的场景下使用Spooling Directory Source。还详细解析了Exec Source的执行示例和源码，特别关注了ExecRunnable类及其flushEventBatch方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Exec source介绍

Exec source在启动时运行Unix命令，并且期望它会不断的在标准输出中产生数据。 (stderr会被丢弃，除非logStdErr设置成true).如果进程因为某些原因退出，Exce Source也将退出并且不会再产生数据。
粗粒标注的必须配置：

属性名	默认	描述
channels	–
type	–	组件名：`exec`
command	–	执行的命令
shell	–	运行命令的外壳
restartThrottle	10000	在尝试重启命令进程之前，sleep多长时间（单位：毫秒）
restart	false	如果执行命令挂掉，是否要重启命令进程。
logStdErr	false	是否应该记录该命令的错误日志。
batchSize	20	一次读取和发送到Channel的最大行数。
batchTimeout	3000