Canal全家桶+MySQL+Elasticsearch+Kibana全量+实时增量收取数据

已于 2023-04-24 11:28:30 修改
阅读量2.7k 收藏 3
点赞数
分类专栏： # 运维企业实战笔录 # ELFK 运维 文章标签： elasticsearch mysql java 1024程序员节
于 2021-11-16 16:52:51 首次发布
本文为博主【秋风お亦冷】原创文章，转载请注明出处，否则保留追究法律责任的权利！
本文链接：https://blog.youkuaiyun.com/qq_23995091/article/details/121359791
版权
本文详细介绍了如何使用Canal全家桶配合MySQL、Elasticsearch和Kibana进行全量和实时增量数据同步。从二进制部署开始，涵盖了Canal-server、Canal-adapter、Elasticsearch和Kibana的安装、配置和启动，以及数据插入后的同步验证。还涉及了手动同步命令和Docker部署方式，以及遇到问题时的排查方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Canal全家桶+MySQL+Elasticsearch+Kibana

引：

​ 通过canal开源服务套件，实时获取MySQL-binlog日志数据，传输给Elasticsearch，并交由Kibana展示，主要用于做数据库索引。

​ 本文将所有配置案例都写在了二进制部署方式内，其他部署方式配置请参考二进制部署的配置。

  • 所需服务：

    • Java：java环境【build 1.8.0_301-b09】（v1.8x）
    • canal-server：canal服务端，注意：包名可能也叫deployer（v1.1.6）
    • canal-adapter：canal适配器，适配与MySQL的es索引配置文件（v1.1.6）
    • MySQL：数据库5.6（v5.x）
    • Elasticsearch：收集数据（v6.8.6）
    • Kibana：展示数据（v6.8.6）
      • </
了解本专栏 订阅专栏 解锁全文 超级会员免费看
博客
Win10/Win11日历提醒与手机日历同步互联+自带邮件收发配置
11-01 1万+
在一端编辑提醒事件后，其他所绑定的平台都会自动同步
博客
运维企业实战Shell脚本合集+万能工具箱
10-28 3387
企业实战中必备的`Shell`脚本合集，针对：系统维护、线上业务、数据库、DevOps等多个场景的
博客
优化开启Nginx的最大并发性能【支持2万到3万并发量！】
06-28 4210
优化开启Nginx的最大并发性能【支持2万到3万并发量！】
博客
Promethus-day5-配置文件详解+AlertManager微信邮件告警配置
05-05 7551
AlertManager告警简单部署altermanager是普罗米修斯的报警组件，主要是用针对异常数据进行报警。首先创建一个报警的规则，其次创建路由（给谁发报警信息）。AlertManager告警简介1.简介告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则）。Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。2.告警规则组成1）告警名
博客
MySQL-day15-增删改查实例实操
03-20 8026
MySQL常用的增删改查操作
博客
MySQL-day6-条件语句与增删改查练习题
03-01 1173
文章目录SQL语句一、SQL语句语义种类二、DDL语句---数据定义语言包含的操作语句：1.CREATE针对库的操作1）查看语法2）创建库3）创建数据库已存在会报错，使用IF NOT EXISTS4）查看建库语句5）创建数据库指定字符集和校验规则6）删库7）修改库2.CREATE 针对表的操作1）查看建表语法2）建表3）数据类型4）数据类型测试5）建表试题6）建表数据属性7）加上属性建表8）删除表9) 修改表三、DCL语句---数据控制语言（GRANT，revoke）包含的操作语句：1.授权 grant2.
博客
六、IP地址子网划分与VLAN
10-20 1万+
ip地址分为五大类:特殊ip地址1. 网络地址：用于表示网络本身，具有正常的网络号部分，而主机号部分全部为0的ip地址称之为网络地址.2. 广播地址：用于向网络中的所有的设备进行广播。具有正常的网络号部分，而主机号部分全为1(即255)的ip地址称之为广播地址.3. 有限广播地址：指的是32位全位1(即255.255.255.255)的ip地址，用于本网广播.4. 回送地址：网络地址不能以十进制的127作为开头，在地址中数字127保留给系统作为诊断用，称为回送地址，如127.0.0.1用于回路
博客
基于CICD的Nginx灰度发布与节点自动上下线管理
09-11 319
此案例需配合 jenkins pipeline 使用，pipeline 代码示例在结尾。共有 3 个配置文件，主要配置如下。任务定义（字符参数或选项参数）
博客
Nginx节点健康检查与自动上下线管理脚本，推送告警到企业微信
09-11 650
适用于 Nginx TCP健康检查的 Shell 脚本示例演示
博客
麒麟v10-x86安装Docker与Oracle11g
08-26 595
Oracle11g 部署与配置调试、备份等实操。
博客
Win11开启安卓子系统与VMware共存
08-26 665
安卓子系统、VMware同时运行，互不影响。
博客
PostgreSQL常用SQL语句
02-28 680
本文将示例以下类别的语句案例：免密交互、增删改查、备份恢复、数据迁移、用户管理、权限管理、进程管理、查询优化。
博客
PostgreSQL部署与配置
02-28 376
一键部署PostgreSQL，并举例配置认证、登录等。
博客
GitLab升级多个版本-企业实战
01-22 643
Gitlab多版本升级的实战流程笔录。
博客
Nexus升级多个版本-企业实战
01-19 492
Nexus多版本升级的实战流程笔录。
博客
Maven+Pom配置Nexus认证
01-19 638
解决：Nexus版本从3.21.1-01 > 3.63.0升级后，加入了认证的问题，解决了非登录用户可以访问browse的bug，当关闭Allow anonymous users to access the server（允许匿名用户访问服务器）后，匿名用户访问browse的问题解决了，但Jenkins构建、开发会引起一系列报错如拉不到Nexus仓库依赖、报错401的问题。
博客
Linux mail自动推送邮件脚本+一键发送邮件脚本
01-02 1176
PS：脚本还有可优化的空间，比如可添加携带附件功能（如：-a test.txt）在服务器配置邮件，以实现邮件的发送。发文本内容为示例内容，仅供参考~无定时任务，手动执行交互输入发送。每日随机抽取一行放入邮件内容。
博客
酒店常见十大突发事件应急处置方案
09-07 913
酒店常见十大突发事件应急处置方案
博客
使用Linux上传资源到百度网盘
09-04 736
实现：不需要额外部署服务、安装命令，一个脚本即可自动上传服务器文件到百度网盘，且可添加定时任务。针对要备份的文件编写脚本：BakEcsFileToBaidunetdisk.sh。备份完成，上传时间隔一段时间保证文件存在。上传带宽：取决于服务器的公网带宽。
博客
阿里云安全组与Nginx组合实现IP+域名精确控制+禁用IP端口访问
08-28 501
通过安全组控制IP的放行规则、Nginx控制域名的放行规则，组合实现高效控制黑白名单，保护服务器安全，规避白名单之外的IP攻击。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值