Flume常用Channel

前言

这里简单介绍几种Flume常用的Channel

一、Memory Channel

优点：完全在内存中运行，速度很快，效率较高
缺点：不能持久化，若机器发生宕机或断电，数据就会丢失
适用场景：适用于数据量不高，性能较高的情况

二、File Channel

优点：将数据保存到磁盘中，数据的可靠性较高，宕机后数据不会丢失
缺点：效率较低
适用场景：适用于数据量较大，性能要求不高的情况

1.配置参数

checkpointDir	~/.flume/file-channel/checkpoint	The directory where checkpoint file will be stored 检查点的目录（保证了断点续传，不重复消费数据）
useDualCheckpoints	false	Backup the checkpoint. If this is set to true, backupCheckpointDir must be set使用对checkpoint进行备份
backupCheckpointDir	-	The director