go-mysql-transfer 使用教程

go-mysql-transfer 使用教程

go-mysql-transferMySQL Binlog 增量实时同步工具项目地址:https://gitcode.com/gh_mirrors/go/go-mysql-transfer

1、项目介绍

go-mysql-transfer 是一款 MySQL 数据库实时增量同步工具。它能够监听 MySQL 二进制日志（Binlog）的变动，将变更内容形成指定格式的消息，实时发送到接收端，从而在数据库和接收端之间形成一个高性能、低延迟的增量数据同步更新管道。

特性

• 简单：不依赖其它组件，一键部署。
• 集成多种接收端：如 Redis、MongoDB、Elasticsearch、RocketMQ、Kafka、RabbitMQ、HTTP API 等，无需编写客户端，开箱即用。
• 内置丰富的数据解析、消息生成规则、模板语法。
• 支持 Lua 脚本扩展，可处理复杂逻辑。
• 集成 Prometheus 客户端，支持监控告警。
• 集成 Web Admin 监控页面。
• 支持高可用集群部署。
• 数据同步失败重试。
• 支持全量数据初始化。

2、项目快速启动

安装依赖

1. 确保已安装 Golang 1.14 及以上版本。
2. 设置 GO111MODULE=on。

源码编译

1. 拉取源码：

   git clone https://github.com/wj596/go-mysql-transfer.git
   

2. 进入目录并编译：

   cd go-mysql-transfer
   go build
   

配置 MySQL

在 MySQL 配置文件中开启 binlog：

• Linux 在 my.cnf 文件中：

  log-bin=mysql-bin
  binlog-format=ROW
  server_id=1
  

• Windows 在 my.ini 文件中：

  log-bin=mysql-bin
  binlog-format=ROW
  server_id=1
  

运行

1. 修改配置文件 app.yml。
2. 在 Windows 上直接运行：

   go-mysql-transfer.exe
   

3. 在 Linux 上执行：

   nohup go-mysql-transfer &
   

3、应用案例和最佳实践

应用案例

• 实时数据同步到 Redis：将 MySQL 中的用户信息实时同步到 Redis，用于快速读取用户数据。
• 数据同步到 Elasticsearch：将 MySQL 中的日志数据实时同步到 Elasticsearch，用于全文搜索和分析。
• 数据同步到 Kafka：将 MySQL 中的订单数据实时同步到 Kafka，用于后续的数据处理和分析。

最佳实践

• 配置监控：集成 Prometheus 客户端，配置监控告警，确保数据同步的稳定性和可靠性。
• 使用 Lua 脚本：对于复杂的数据处理逻辑，使用 Lua 脚本进行扩展，提高灵活性和可维护性。
• 高可用部署：采用集群部署，确保数据同步服务的高可用性。

4、典型生态项目

• Redis：作为高速缓存，用于快速读取数据。
• Elasticsearch：用于全文搜索和数据分析。
• Kafka：作为消息队列，用于数据流处理和分析。
• Prometheus：用于监控和告警。
• Grafana：用于监控数据的可视化展示。

通过以上步骤和案例，您可以快速上手并使用 go-mysql-transfer 进行 MySQL 数据库的实时增量同步。

go-mysql-transferMySQL Binlog 增量实时同步工具项目地址:https://gitcode.com/gh_mirrors/go/go-mysql-transfer