Logstash使用Jdbc input plugin定时读取数据库新记录

最新推荐文章于 2024-11-14 11:30:09 发布

totally123

最新推荐文章于 2024-11-14 11:30:09 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： ELK 文章标签： Logstash MySQL JDBC

本文链接：https://blog.youkuaiyun.com/totally123/article/details/80081271

本文介绍了如何使用Logstash的Jdbc input plugin定时从MySQL数据库中获取新记录。关键在于配置中的use_column_value和tracking_column参数，它们允许Logstash跟踪并从上次查询的最大id开始继续查询。默认情况下，Logstash会将状态保存在.last_run_metadata_path文件中，确保重启后不会重复处理数据。如需重新从头开始，可以设置clean_run为true。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MySQL表结构：

mysql> desc employee;
+-----------+-------------+------+-----+---------+----------------+
| Field     | Type        | Null | Key | Default | Extra          |
+-----------+-------------+------+-----+---------+----------------+
| id        | int(11)     | NO   | PRI | NULL    | auto_increment |
| last_name | varchar(50) | NO   |     | NULL    |                |
| email     | varchar(50) | NO   |     | NULL    |                |
| gender    | varchar(20) | NO   |     | NULL    |                |
+-----------+-------------+------+-----+---------+----------------+
4 rows in set (0.00 sec)

MySQL预备数据：

mysql> select * from employee;
+----+-----------+------------+--------+
| id | last_name | email      | gender |
+----+-----------+------------+--------+
|  1 | A1        | A1@163.com | Male   |
|  2 | A2        | A2@163.com | Male   |
|  3 | A3        | A3@163.com | Female |
+----+-----------+------------+--------+
3 rows in set (0.00 sec)

Logstash配置：

input {
  jdbc {
    jdbc_driver_library => "drivers/mysql-connector-java-5.1.45.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mybatis"
    jdbc_user => "root"