利用flume增量采集关系数据库的配置

网上关于flume采集关系数据库如mysql的资料比较多,但是大部分都是复制粘贴,一错皆错,而且对于配置参数的介绍不太完整,或者未说明参数意义,由于最近在使用flume,所以在这里对配置参数简单总结一下。

这里只介绍sql-source的配置


agent.channels=ch1
agent.channels.ch1.type=memory


agent.sources=sql-source
agent.sources.sql-source.channels=ch1
agent.sources.sql-source.type=org.keedio.flume.source.SQLSource
agent.sources.sql-source.hibernate.connection.url=jdbc:mysql://172.16.1.127:3306/test
agent.sources.sql-source.hibernate.connection.user=root
agent.sources.sql-source.hibernate.connection.password=123456
agent.sources.sql-source.hibernate.connection.autocommit=true  #这个参数很重要,默认false,如果设为false就不会自动查询
agent.sources.sql-source.run.query.delay=5000  #查询间隔,单位毫秒
agent.sources.sql-source.custom.query=select * from test_table where id > $@$ order by id   #这里的$@$表示增量列上一次查询的值,记录在status文件中
agent.sources.sql-source.start.from=50000  #增量列的初始值
agent.sources.sql-source.status.file.path=/var/lib/flume
agent.sources.sql-source.status.file.name=sql-source.status


### 使用Flume实时捕获MySQL数据库中的记录更新 Apache Flume 是一种分布式、可靠且高可用的日志收集系统,主要用于从各种数据源中高效地采集日志并将其传输到集中式存储系统(如 HDFS 或 Kafka)。然而,Flume 并不直接支持从关系型数据库(如 MySQL)中捕获变更记录的功能。为了实现这一目标,通常需要借助其他工具或技术来完成。 以下是通过 Flume 实现实时捕获 MySQL 数据库中记录更新的一种常见方法: #### 方法概述 1. **启用 MySQL 的 Binlog 功能** 配置 MySQL 启用二进制日志 (Binlog),这是 MySQL 提供的一个功能,用于记录所有的 DDL 和 DML 操作语句。这些日志可以被外部程序读取以获取表结构和数据的变化[^3]。 2. **使用 Canal 工具** Alibaba 开发的 Canal 是一款开源项目,能够模拟 MySQL 主从复制机制,解析 MySQL 的 Binlog 日志并将其中的数据变化事件发送给下游消费者。Canal 可以作为 Flume 的数据源之一[^4]。 3. **配置 Flume 接收来自 Canal 的消息** 将 Canal 解析后的增量数据写入到 Flume 中间件里,再由 Flume 负责后续处理流程,比如存放到文件或者推送至 Kafka 等消息队列服务上进一步分析加工[^5]。 #### 具体实施步骤说明如下: - 安装部署 Canal Server; - 修改 my.cnf 文件开启 binlog,并设置 server-id 参数; - 创建具有 REPLICATION SLAVE 权限的新用户账号授权访问权限; - 编辑 canal.conf 设置监听的目标实例地址端口以及用户名密码等连接参数; - 启动 Canal 应用程序开始同步操作; - 构建自定义 Source 插件让 Flume 支持接收 Canal 输出流; - 测试验证整个链路是否正常工作运行无误; 下面给出一段简单的 Java 代码片段展示如何基于 Avro 协议开发一个兼容 Apache Flume Event Format 的 Source 组件: ```java public class MyCustomSource extends AbstractSource implements Configurable { private String host; private int port; @Override public void configure(Context context) { this.host = context.getString("canal.server.address"); this.port = Integer.parseInt(context.getString("canal.server.port")); } @Override public void start() { new Thread(() -> { try(SocketChannel channel = SocketChannel.open(new InetSocketAddress(host, port))) { while(true){ ByteBuffer buffer = ByteBuffer.allocate(8 * 1024); StringBuilder sbuilder=new StringBuilder(); // Read data from socket and convert it into flume event format getChannelProcessor().processEvent(event); } } catch(IOException e){e.printStackTrace();} }).start(); } } ``` 上述示例仅作参考用途,请根据实际需求调整逻辑细节部分。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值