Logstash配置同步mysql到es配置

实现mysql和es数据同步的两大工具——Logstash和Canal logstash使用相对比较简单,易上手,可扩展插件生态系统,支持定时存储,但是它耗资源较大,并且不能与消息队列缓存。canal实时同步存储,查询更快、更迅速,对数据库无压力,但是相对而言难些。 阅读详情

关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html

Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地

下面进一步详细说配置:

jdbc_driver_library: jdbc mysql 驱动的路径,在上一步中已经下载
jdbc_driver_class: 驱动类的名字,mysql 填 com.mysql.jdbc.Driver 就好了
jdbc_connection_string: mysql 地址
jdbc_user: mysql 用户
jdbc_password: mysql 密码
schedule: 执行 sql 时机,类似 crontab 的调度
statement: 要执行的 sql,以 “:” 开头是定义的变量,可以通过 parameters 来设置变量,这里的 sql_last_value 是内置的变量,表示上一次 sql 执行中 update_time 的值,这里 update_time 条件是 >= 因为时间有可能相等,没有等号可能会漏掉一些增量
use_column_value: 使用递增列的值
tracking_column_type: 递增字段的类型,numeric 表示数值类型, timestamp 表示时间戳类型
tracking_column: 递增字段的名称,这里使用 update_time 这一列,这列的类型是 timestamp
last_run_metadata_path: 同步点文件,这个文件记录了上次的同步点,重启时会读取这个文件,这个文件可以手动修改  

注意:

Crontab:官网 https://tool.lu/crontab/  注意:Crontab表达式以分为单位

./bin/logstash -f mysql.conf 启动

 

原理:

Logstash --> 发送查询语句到MySQL,

Logstash -> 发送查询结果到ES

 

首次查询全部数据(根据时间1970年),记录最后一此数update_time,作为下一次修改时间查询的条件值。数据库新增或者修改、删除的时候都会记录时间。

where update_time >= xxxx-xx-xx

每隔一段时间查询一次。表里面必须有:update_time 字段

 

同步方式: 

  1.  主键的新增方式

  2.   update_time方式

 

比较:

使用 logstash-input-jdbc 插件读取 mysql 的数据,这个插件的工作原理比较简单,就是定时执行一个 sql,然后将 sql 执行的结果写入到流中,增量获取的方式没有通过 binlog 方式同步,而是用一个递增字段作为条件去查询,每次都记录当前查询的位置,由于递增的特性,只需要查询比当前大的记录即可获取这段时间内的全部增量,一般的递增字段有两种,AUTO_INCREMENT 的主键 id 和 ON UPDATE CURRENT_TIMESTAMP 的 update_time 字段,id 字段只适用于那种只有插入没有更新的表,update_time 更加通用一些,建议在 mysql 表设计的时候都增加一个 update_time 字段。

 

综上所述配置:

cd /home/elasticsearch/logstash-6.4.3/config

input {
  jdbc {
    jdbc_driver_library => "/home/mysql5.7/mysqlDriver/mysql-connector-java-8.0.13.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
# 8.0以上版本:一定要把serverTimezone=UTC天加上 jdbc_connection_string => "jdbc:mysql://192.168.124.8:3306/test?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true" jdbc_user => "root" jdbc_password => "root" schedule => "* * * * *" statement => "SELECT * FROM user WHERE update_time >= :sql_last_value" use_column_value => true tracking_column_type => "timestamp" tracking_column => "update_time" last_run_metadata_path => "syncpoint_table" } } output { elasticsearch { # ES的IP地址及端口 hosts => ["192.168.91.66:9200"] # 索引名称 可自定义 index => "user" # 需要关联的数据库中有有一个id字段,对应类型中的id document_id => "%{id}" document_type => "user" } stdout { # JSON格式输出 codec => json_lines } }

 

将配置文件丢到config下: 名字为mysql.conf,随便起的

启动: ./bin/logstash ./config/mysql.conf

注意:因为我用的是mysql的最新的驱动8.多的版本,所以配置数据库的url时候一定要把serverTimezone=UTC天加上!

同时mysql数据库:

grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;

FLUSH PRIVILEGES;

 

很慢的,启动过程盯着日志:

 

kinbana:

 

如果同步多个多个表: 

配合多个上述的config,然后将其地址配置文件中:

 追加到最后一行,可以配置多个。

 

启动方式为:

 ./bin/logstash

 

 


 

 其他同步方案比较:

 Logstash: 定时器方式, 实现简单

 MQ: 实时性,复杂性更高,数据一致性好(自带重试,补偿)

 

MySQL数据以全量和增量方式,同步到ES搜索引擎 知识的广度来自知识的深度,学习如果不成体系那是多可怕的一件事儿,希望我们在未来的学习道路上坚守初心,不要给自己留下遗憾,以自己喜欢的方式生活,做自己喜欢做的事,宠爱自己,做一个独一无二的自己! 对于文章中出现的任何错误请大家批评指出,会及时做出修改! 有任何想要讨论和学习的问题可联系我:cittaksana@qq.com MySQL数据以全量和增量方式,同步到ES搜索引擎一、配置详解1、下载内容2、核心配置3、启动进程二、ES客户端工具 一、配置详解 场景描述:MySQL数据表以全量和增量的方式向E. 阅读详情

相关推荐

Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据,超详细步骤

背景:博主在做的一个项目是wamp环境下的电商平台,其搜索方式为sql查询,效率低下,准确率也非常感人,所以就尝试着在Windows环境下搭建一套搜索引擎,经过多方查阅,发现Elasticsearch是一个比较好的搜索引擎,也支持JDBC与MYSQL对接,并可以利用RESTful API CURL方式提供搜索服务,独立性强,扩展性好,于是就决定用它来做开发了。 Step 1:Windows下...

qq_28799479的博客 6399

Logstash同步MySql数据到Elasticsearch

目录1 MySql数据到Elasticsearch1.1 下载logstash1.2 解压logstash1.3 在logstash 目录创建 mysql 文件夹1.4 将 mysql 驱动文件和数据库查询文件 放进mysql中1.5 在config 目录下创建 mysqltoes.conf 文件1.6 mysqltoes.conf 配置1.7 启动 logstash2 配置语法讲解3 启动方式4 filebeat基本讲解5 实战运用5.1 业务到redis到es之间迁移5.2 业务到redis到mongo

赵广陆 4410

信创改造实战:SpringBoot项目迁移到宝兰德BES 9.5.5的完整避坑指南(附依赖配置)

本文详细介绍了将SpringBoot项目迁移到宝兰德BES 9.5.5中间件的完整流程,包括环境准备、依赖调整、Web.xml版本适配、部署配置优化及常见问题解决方案。特别针对信创改造需求,提供了排除Tomcat依赖、处理BES专用starter等实用技巧,帮助开发者顺利完成国产中间件迁移。

weixin_30825581的博客 1104

Logstash配置多张表和多个数据源

配置多个数据源和不同的表访问多个配置 解决问题: 数据已经导入完成 logstash还一直循环导入数据(定时器设置时间有点短 ) 同步数据两种方案:方案一 每一次同步都是从头同步的 1.clean_run =>true就好了 2.schedule => “* * * * " (根据你的业务需求看定多长时间比较合适) 要是想使用每分钟执行一次 schedule => "/1 * *...

mufengdada的博客 3705

RHCSA Linux环境搭建

安装Linux操作系统一般有三种方式:为了便捷方便高效,因此本人选择通过虚拟机来使用Linux操作系统。先在官网(Download VMware Workstation Pro)下载好VMware workstation pro软件,下载安装完成后,需要激活打开。下载版本不同,所需激活码也不同(激活码可在网络上查找)

weixin_68256171的博客 1421

【信创-k8s】银河麒麟V10国防版+鲲鹏/飞腾(arm64架构)在线/离线部署k8s1.30+kubesphere

银河麒麟作为国家核高基专项的重要成果,国防版凭借其卓越的安全性和可靠性,已成为军工领域的首选操作系统。之前我们在适配麒麟V4国防版的过程中已发现诸多安全性要求,而麒麟V10国防版在安全防护等级上又达到了更高的级别。本文将主要演示离线部署,因为军工项目基本不会出现联网场景。即使在线,也可以按离线方式部署,且离线部署由于有私有仓库,不会存在镜像获取不到和丢失情况。

2023年最新地推相关信息 544

mysql同步数据到es之logstash

mysql同步数据到es

喜欢分享,善于记录工作中遇到的问题,和自己的思考 5423

oVirt 4.4.10超详细安装指南:从零搭建企业级虚拟化环境(附常见错误排查)

本文提供了oVirt 4.4.10企业级虚拟化平台的超详细安装指南,涵盖环境规划、系统准备、Engine安装配置、计算节点部署、存储系统集成及高级运维技巧。通过实战操作手册和常见错误排查方法,帮助用户从零搭建稳定高效的虚拟化环境,特别适合企业IT管理员参考实施。

wasm7browser的博客 351

使用logstash同步mysql数据到elasticsearch(包含配置es,springboot集成搜索)

参考: https://cloud.tencent.com/developer/article/1183253 https://www.cnblogs.com/ashleyboy/p/9612453.html es简介: es是一个高度可扩展的开源全文搜索和分析引擎,可以快速的、近实时地对大数据进行存储、搜索和分析,用来支撑复杂的数据搜索需求和企业级应用。简单来说,它是一个搜索引擎,...

huiyunfei的博客 4869

SAP ABAP MIGO增强实战:自定义页签与字段的完整实现指南

本文详细介绍了SAP ABAP中MIGO增强的实战指南,包括自定义页签与字段的完整实现步骤。通过BADI增强技术,开发者可以快速满足企业个性化需求,如添加供应商批次号等特殊字段。文章涵盖数据存储结构设计、BADI框架实现、核心方法编写及数据持久化方案,帮助用户高效完成MIGO屏幕增强开发。

study的专栏 775

基于DFT的scanshift sdc模板(DFT)

摘要:本文详细介绍了DFT测试模式下的SDC约束方法。

murphyrong的博客 890

Logstash 同步Mysql数据到 Elasticsearch(包含Logstash、ES的安装、配置和Mysql建表方法,从头开始的简单教程)

前提:首先要安装 Java8,因为 Logstash和ES都是Java写的 一、Elasticsearch的安装和启动 安装: 官方链接为:https://www.elastic.co/guide/en/elastic-stack-get-started/current/get-started-elastic-stack.html(包含ES、Logstash、Kibana) 可能的问题:可...

You can either travel or read,but either your body or soul must be on the way. 782

FISCO BCOS 系列(一)—— 搭建第一个区块链网络&配置控制台指南

本文详细介绍了FISCO BCOS区块链网络的搭建与配置过程,包括环境准备、单机四节点网络搭建、控制台配置使用等核心内容。从系统要求、依赖安装开始,逐步指导如何通过脚本快速搭建区块链网络,配置控制台连接,并演示了账户管理、合约部署调用等基础操作。同时提供了多节点网络配置、常见问题解决方案以及生产环境安全建议,为开发者提供了从入门到进阶的完整指南。

分享AI、区块链技术及应用,未来已来 815

ELK logstash 同步mysql oracle数据到es中 logstash 的安装和配置

之前记录了 ElasticSearch 的安装配置 点击直达 ,接下来我们使用logstash 同步mysql 或者 oracle 数据到 es 中,这里最后 elk 的的版本保持同步,我这里用的都是 6.4.3 版本的,首先去官网下载,这里 elk 三个工具的历史版本的都有,自行选择 这里我们可以使用 wget 进行下载, 我们装在local目录 cd /usr/local wget https://artifacts.elastic.co/downloads/logstash...

huqiankunlol的博客 820

结构化数据特征构建神器openfe的实战代码

最近订阅专栏的几位同学一起参加了AI比赛,该比赛的数据形式是结构化的。随着特征和模型的不断迭代优化,达到了一个难以跨越的瓶颈。希望我能够给出一些有效的方法,帮助他们提高成绩。在个人的调研和体验后,向他们推荐了结构化数据特征构建神器openfe,最终也帮助他们提升了十来名的成绩,个人也感到十分的欣慰。特意写此博客,希望能够帮助更多的同学。 文章目录 1. 安装 2. 实战例子一 3. 实战例子二

herosunly的博客 3万+

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

通过logstash实现mysql与es的双向数据同步

通过logstash实现mysql与es的双向数据同步

upward 4506

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

LogStash实现MySQL数据增量同步到ElasticSearch

需求的由来 在做一个项目的时候,需要一个搜索的功能,刚开始想到的是用数据库的模糊查询,但是考虑到效率的问题,于是就用了ElasticSearch(ES),但是MySQL中的数据怎么样到ES中呢,我们可能会想到,MySQL可以实现主从复制,通过binary log文件实现的,搜集了一波资料发现,LogStash可以实现这个数据同步的功能,有增量和全量,如果数据只同步一次的话,可以使用全量同步,如果数据会有更新的话,可以使用增量同步,真是nice。 安装LogStash 要用人家的功能,第一步当然是安装此利

4654

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Docker 配置 Logstash 并将Mysql数据同步至ElasticSearch

最近配置这个东西挺折磨的,决定把过程记录下来,方便将来。 部分过程参考自:https://blog.youkuaiyun.com/chongshi4396/article/details/100805225 准备工作 首先要把镜像pull下来,版本号要与ElasticSearch的版本一致。参考:我的ElasticSearch版本是7.12.1。 docker pull daocloud.io/library/logstash:7.12.1 创建config与pipeline的挂载目录 先创建并启动一个容器。 设置环

weixin_45940235的博客 876

logstash 5.4 同步mysql到es 配置文件

input{ jdbc{ type => "mysql_es" # 数据库驱动包存放路径 jdbc_driver_library => "D:\tools\es\logstash-8.0.0\lib\mysql-connector-java-8.0.19.jar" # 数据库驱动器; jdbc_driver_class => "com.mysql.cj.jdbc.Driver" # 数据库连接方式 jdbc_conn.

u012852815的专栏 2871

基于logstash6.3.2的同步MySQL数据到ElasticSearch

基于logstash6.3.2的同步MySQL数据到ElasticSearch

习惯了想你的博客 883

ELK(二) Logstash 配置 Mysql 数据准实时同步到 es 中

下载插件 ./bin/logstash-plugin install logstash-input-jdbc ./bin/logstash-plugin install logstash-output-elasticsearch 配置作业文件 创建一个Logstash作业配置文件,文件命名为logstash-mysql-es.conf 配置文件内容 这里 mysql 驱动文件需要自己手动下载,并复制到 logstash 目录下,默认路径为 /usr/share/logstash/logsta.

ying_521125的博客 5401

spring整合es,logstash,mysql实践

一、ElasticSearch简介 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并是一种流行的企业级搜索引擎。 ...

qq_40820235的博客 591

linux 启动logstash_linux配置启动es,logstash同步mysql数据库

linux,使用logstash将mysql的数据同步到elasticsearch一、安装jdklinux自带了jdk,但版本和我使用的 7.10 elasticsearch不兼容,需要安装jdk-11百度jdk,去官网下载自己需要的版本1、解压到/usr/local/java中,分配权限mkdir /usr/local/javatar -zxvf jdk-11chmod 777 java2、配置...

weixin_39710288的博客 487

logstash mysql.conf配置同步mysql到elasticsearch

input{ stdin {} jdbc { type => "jdbc" jdbc_connection_string => "jdbc:mysql://192.168.180.63:3306/elasticsearch_view?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&allowMultiQuer.

qq_41298861的博客 606
上一篇: Docker安装ES和Kibana
下一篇: Docker搭建ES集群
Art&Code
博客等级 码龄7年 77粉丝 554原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值