canal+mysql binlog+kafka+es 实现数据同步和搜索

最新推荐文章于 2024-09-04 20:48:11 发布
最新推荐文章于 2024-09-04 20:48:11 发布
阅读量651 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： kafka mysql elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44898171/article/details/129853225
文章介绍了如何通过Canal监听MySQL的binlog，将变更事件发送到Kafka，再由Kafka消费者同步到Elasticsearch中，涉及Canal配置、Kafka安装以及SpringBoot应用中的Kafka监听程序设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文记录 elasticsearch 搜索和数据同步一种方案

通过对mysql的binlog监听，将数据库信息发送到kafka 然后通过kafka的topic的监听 同步到es库里

一 .安装canal 用于对mysql的binlog的监听
https://github.com/alibaba/canal/releases/tag/canal-1.1.7-alpha-2
![在这里插入图片描述](https://img-blog.csdnimg.cn/162145728b9244b4a1de5e74c54ded26.png)

  1. 解压：tar zxvf canal.deployer-1.1.7-SNAPSHOT.tar.gz -C canal-1.1.7/

  2. 修改配置文件 这里使用的是 canal ->kafka 修改 canal.serverMode = kafka
    修改canal.destinations为配置instance，默认是 example
    修改配置文件里面的kafka配置：
    kafka.bootstrap.servers = xxxxxxx:9092,xxxxxx:9092,xxxxxxx:9092
    kafka.acks = all
    kafka.compression.type = none
    kafka.batch.size = 16384
    kafka.linger.ms = 1
    kafka.max.request.size = 1048576
    kafka.buffer.memory = 33554432
    kafka.max.in.flight.requests.per.connection = 1
    kafka.retries = 0

    kafka.kerberos.enable = false
    kafka.kerberos.krb5.file = “…/conf/kerberos/krb5.conf”
    kafka.kerberos.jaas.file = “…/conf/kerberos/jaas.conf”
    保存

  3. 配置监听的数据库
    由于上面instance 配置的是example vim /conf/example/instance.properties
    修改第一处为自己的mysql地址 ip：3306
    第二处 用户名和密码
    第三处 需要监听的表 可以去查看该值配置的表达式含义
    第四处 对应kafka的topic

在这里插入图片描述

如需配置多个canal.destinations 比如：一张表数据对应一个topic

  1. canal.destinations = articles,user
  2. 复制一份conf下面的example文件夹 修改里面配置
    在这里插入图片描述

二. 启动kafka
kafka安装链接

三. 在springboot工程创建kafka监听程序 后续在写

zx-blog
关注
Canal+Kafka实现mysql与redis数据准实时同步
yehongzhi1994的博客
08-16 1万+
Canal实战应用，canal+Kafka实现MySQL与Redis数据同步
基于Canal和Kafka实现MySQL的Binlog近实时同步
dadashitou的博客
06-07 1737
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal。
使用canal同步mysql数据到es
microcosm1994的博客
08-27 1668
安装方法与简单示例 文档地址：https://github.com/alibaba/canal canal client demo： package com.canalclient.process; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.ca
es搜索开发 mysql+canal+kafka+es
qq_42976892的博客
04-20 952
使用canal解析mysql 利用kafka作为数据总线消费到es https://github.com/shichaoran/di-analyze 上面是我写的代码 不想多废话 转载带上作者名字谢谢
canal+kafka+es+logstash+腾讯云mysql
wojiaochen_yingjun的专栏
03-10 528
背景：想使用es的检索功能 第一版解决方案：使用es的检索功能满足内容的查询，1.0实现根据es的分词器通过内容查找id-》获取id后查询mysql。 服务器配置： 4核8G（都起起来内存不够用，还好logstash只同步一次增量） 动作： 全量数据: es(腾讯云) +logstash（自己搭建）同步完成 增量数据功能: 支持集群：canal（自己搭建+单机） +kafka（自己搭建+单机） +zk（自己搭建+单机）开发完成 检索功能开发完成，测试后没问题 现在需要上正式： 考虑到canal ，lo.
canal kafka 实现mysql与es/redis 数据同步
Gblfy_Blog
08-19 1739
canal kafka 实现mysql与es/redis 数据同步
centos7部署两个mysql_基于 Canal 和 Kafka 实现 MySQL 的 Binlog 近实时同步
weixin_39939918的博客
12-28 223
Throwablehttps://juejin.im/post/5e6a6746f265da575c16d678前提近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建...
canal同步mysql binlog数据到kafka
qq_24095055的博客
08-07 2492
文章目录安装canal 安装canal 参考canal github官网进行安装： 准备 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 授权 canal
Canal+MySQL+Kafka+Zookeeper
m0_71518373的博客
10-16 1322
Canal+MySQL+Kafka+Zookeeper实现实时数据同步
【linux-centos】Canal和Kafka实现mysql的binlog
dadashitou的博客
06-03 1974
需要安装php-rdkafka扩展，安装方式：https://www.cnblogs.com/shixiangqian/p/14856009.html。tar -zxvf canal.deployer-1.1.4.tar.gz -C ./canal-1.1.4 解压到canal-1.1.4目录。canal.instance.mysql.slaveId=123 相当于从库节点id，不能和mysql的节点重复，必须是数字。canal_local.properties canal本地配置，一般不需要动。
【大数据】Canal实现MySQL数据增量同步至Kafka：原理与配置解析
一个不断前行的程序者
09-04 2023
Canal是一款开源的数据库增量日志解析组件，主要用于监控数据库数据变更，并将变更数据同步到其他存储介质。Canal通过模拟MySQL Slave的交互协议，实时获取数据库的增量更新，从而实现数据同步。本文将介绍如何使用Canal将MySQL的数据通过监听Binlog，增量发送到Kafka。Binlog（Binary Log）是MySQL数据库的二进制日志，记录了所有对数据库数据的修改操作。开启Binlog后，MySQL会实时将数据变更记录到Binlog文件中。
mysql+canal+kafka+elasticsearch构建数据查询平台
woaitingting1985的博客
03-05 924
1. 实验环境 CPU:4 内存：8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java >=1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 vim /etc/profile.d/java.sh #!/bin/bash export JAVA_HOME=/usr/lib/jvm/java-1.8....
kafka消费者直接存在mysql中_【Canal】利用canal实现mysql实时增量备份并对接kafka
weixin_33946505的博客
01-27 324
简介canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:本文中默认已经安装了kafka环境，仅做对接的演示；(若没有安装则需要提前安装kafka)演示环境如下：bigdata111bigdata112bigdata113centos7.0centos7.0centos7.0jdk1.8jdk1.8jdk1.8zoo...
通过Canal+Kafka将Mysql数据同步到ElasticSearch
ChenHuaiJie0912的博客
12-18 3919
首先说下我们的技术选型，在业务库的选择上，我们选择了灵活方便的mysql，通过强大的分表分库中间件，我们能够轻松构建百库百表的巨大mysql集群，并且实现了不错的TPS。但是运营的瓶颈就显现出来，我们需要通过各种各样的条件来查询我们的订单交易，通过我们搭建的分表分库的mysql集群很难满足要求。ElasticSearch凭借着不错的搜索性能，完美满足了我们的业务要求，那么如何将数据从mysql同步到es，就是我们今天要说的课题。 原理: 数据流方向：mysql->canal->kafka-e
mysql 日志异构_canal+kafka订阅Mysql binlog将数据异构到elasticsearch(或其他存储方式)...
weixin_29924799的博客
01-19 283
canal本质就是"冒充"从库,通过订阅mysql bin-log来获取数据库的更改信息。mysql配置(my.cnf)mysql需要配置my.cnf开启bin-log日志并且将bin-log日志格式设置为row, 同时为了防止bin-log日志占用过多磁盘,可以设置一下过期时间,[mysqld]log-bin=mysql-bin # 打开binlogbinlog-format=ROW # ROW...
基于阿里巴巴Canal框架,kafka监听协议实现Mysql与ES数据同步
黎明大大的博客
07-05 517
准备 找到我们所需的安装包文件 关于Apache的相关包,都可以在这个网站找到啦 http://mirrors.hust.edu.cn/apache/ 安装JDK 此处略过 安装zookeeper 下载源码包,并解压 wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar...
maxwell同步mysql binlog数据到kafka
sixworld的博客
05-27 1269
这种只能删除mysql的maxwell库，然后再启动maxwell服务（会在mysql中生成新的maxwell配置），暂无其他解决方案（重启后如果binlog日志文件没变动，不会丢失数据；sh /data/maxwell/alert_maxwell/run_maxwell_alert.sh ${arr1[$i]} ${jobID} ${date} #调用预警接口，这个是我们公司内部的，你们用自己公司的预警接口就行。--kafka_topic=maxwell_prd_rms: 发送kafka对应Topic。
canal小试牛刀第一篇：canal-server+kafka根据mysql binlog同步数据
凯
01-19 2605
1. 前情提要 直接监听mysql的binlog同步数据可以对业务无侵入。数仓搭建必备利器。 2. 准备工作 了解canal-server 了解kafka 了解Canal Kafka 了解mysql主从 了解docker、docker-compose 3. 配置相关 mysql 保存以下配置至./mysql/conf.d/slave.cnf [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1
基于canal和kafka同步，实现binlog同步mysql
batman
08-09 1587
文章目录前言简介Canal 的工作原理canal 工作原理搭建环境安装mysql安装Zookeeper 前言 最近业务需要监听mysql的binlog日志，于是就看了下canal，下面记录踩到的坑。 简介 canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变.
canal实现mysql数据同步kafka
最新发布
12-26
### 使用 Canal 实现 MySQL 到 Kafka 的数据同步 #### 一、环境准备 为了成功实现从 MySQL 同步数据到 Kafka，需确认 MySQL 已经开启了 binlog 功能并创建了具备相应权限的用户。对于 MySQL 用户设置方面，应当执行如下 SQL 命令来建立拥有适当权限的新用户[^4]: ```sql CREATE USER canal IDENTIFIED BY 'Asas12!@'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; FLUSH PRIVILEGES; ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'Asas12!@'; ``` #### 二、安装与部署 Canal Server 和 Canal Adapter 下载适合操作系统的 Canal 版本，并解压至目标目录；启动前编辑 `conf/example/instance.properties` 文件完成针对特定数据库实例的基础设定工作。 接着要配置 Canal Adapter 来桥接 Canal 和 Kafka。Adapter 是负责接收来自 Canal 的变更事件并将它们转发给下游系统（这里是 Kafka）。同样地，在适配器配置文件里指明消息队列的目标地址以及主题名称等参数[^2]。 #### 三、修改 Canal 配置文件 在 Canal 中需要调整两个重要配置文件： - **canal.properties**: 设置全局属性比如日志级别、线程池大小等； - **instance.properties**: 定义具体实例连接细节，包括但不限于主机名、端口、用户名和密码等信息用于访问源端 MySQL 数据库。 例如，在 instance.properties 中添加或更改以下条目以适应实际情况： ```properties canal.instance.master.address=192.168.0.1:3306 canal.instance.dbUsername=canal canal.instance.dbPassword=Asas12!@ ``` #### 四、编写 Canal-Kafka 插件配置 为了让 Canal 将捕获的变化发送到 Kafka 上，则还需要定义专门面向 Kafka 输出插件的相关选项。这通常涉及到更新 adapter-spring.xml 或者其他形式的应用上下文 XML 文档内的 bean 定义部分。 ```xml <bean id="kafkaProducer" class="org.apache.kafka.clients.producer.KafkaProducer"> <constructor-arg> <map> <entry key="bootstrap.servers" value="${kafka.bootstrapServers}"/> <!-- 更多生产者的配置项 --> </map> </constructor-arg> </bean> <bean id="tableMetaCacheFactory" class="com.alibaba.otter.canal.client.adapter.support.TableMetaCacheFactory"> ... </bean> <!-- 这里的destination对应于Canal server中配置的具体实例名字 --> <bean id="adapterHandler" class="com.alibaba.otter.canal.client.adapter.es.handler.EsAdapterHandler"> <property name="destinations"> <list> <value>example</value> </list> </property> </bean> ``` 注意上述代码片段仅作为一个示意性的例子展示如何集成Kafka 生产者 API 及其关联组件，请依据官方文档进一步完善具体的实现逻辑。 #### 五、测试验证 当所有的准备工作都完成后，可以通过向 MySQL 表内插入新记录的方式来检验整个流程是否正常运作。如果一切顺利的话，应该可以在指定的 Kafka 主题上看到相应的变更通知被发布出来。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值