用logstash将mysql数据同步到 elasticsearch

本文分享了使用Logstash将MySQL数据同步至Elasticsearch的实际经验,包括解决jdbc驱动路径配置、last_run_metadata_path冲突及type字段引起的类型划分问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近需要同步mysql数据到ES,参考了

https://blog.youkuaiyun.com/hatlonely/article/details/79945539

这篇文章,遇到几个问题

第一个是jdbc驱动路径

jdbc_driver_library => "../mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar"

这里用了相对路径,起始路径是logstash的安装目录,mysql-connector-java-5.1.46这个目录应该和logstash目录同级。

第二个问题是last_run_metadata_path同步点文件在同步多表时需要为不同的表指定

不同的文件,否则会发生冲突,造成有的表不能导入。

第三个问题是如果mysql的表里正好有名为“type”的字段,而logstash的配置文件又正好没配置

document_type字段,那么在导入的时候会根据type字段分到ES不同的类型下(困惑了好一下),

指定document_type就不会了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值