使用 logstash将mysql数据同步到ElasticSearch

最新推荐文章于 2024-04-23 10:33:19 发布

hewenhaoxiansen

最新推荐文章于 2024-04-23 10:33:19 发布

阅读量218

点赞数

本文链接：https://blog.youkuaiyun.com/hewenhaoxiansen/article/details/105368063

版权

本文详细介绍了如何在Linux环境下使用Logstash从MySQL数据库中读取数据，并将其同步到Elasticsearch中。包括Logstash的安装、配置文件的编写、MySQL驱动的设置、定时任务的执行以及常见错误的解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、linux环境安装logstash

①官网下载压缩包，解压安装（安装不难，大同小异，可参考我以前linux安装的博客）

2.在config目录下新建mysql.conf文件

input {
    jdbc {
        #jdbc驱动包位置
        jdbc_driver_library => "mysql-connector-java-5.1.38.jar"
        #要使用的驱动包类
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        #mysql数据库连接信息
        jdbc_connection_string => "数据库地址"
        #账号
        jdbc_user => "用户名"
        #密码
        jdbc_password => "密码"
        #时区
        jdbc_default_timezone => "Asia/Shanghai"
        #定时任务，多久执行一次查询，默认一分钟。如果想要没有延迟，可以使用schedule => "* * * * * *"
        schedule => "* * * * *"
        #schedule => "*/5 * * * *"
        #清空上次的sql_last_value的记录
        clean_run => true
        #你要执行的语句
        statement => "你查询导出数据的sql"
        }
}

output {
    elasticsearch {
        #es host : port
        hosts => ["你的ip:9200"]
        #索引
        index => "你想创建的index名字"
        #_id
        #document_id => "%{你想创建的id}"
    }
    stdout {
        # JSON格式输出
        codec => json_lines
    }
}

mysql连接的jar包需要自己加到linux上，否则会报错。

3、同步数据

cd 到bin目录

./logstash -f ../config/mysql.conf