Mysql和Elasticsearch的数据同步

本文介绍了三种MySQL到Elasticsearch的数据同步方案,包括同步调用、异步通知和监听binlog。选择了使用MQ进行数据同步的实现方式,详细展示了监听MQ队列并在接收到消息后更新Elasticsearch的代码示例,以及如何在MySQL操作后发送MQ消息。通过这种方式,实现了MySQL和Elasticsearch之间的低耦合数据同步。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Elasticsearch的数据来自Mysql数据库中,所以当我们的MySQL发生改变时,Elasticsearch也要跟着改变,这时候我们的es的数据就要和mysql同步了


同步实现思路

 常见的数据同步方案有三种:

  • 同步调用

  • 异步通知

  • 监听binlog

 方案一:
      

 

  • hotel-demo对外提供接口,用来修改elasticsearch中的数据

  • 酒店管理服务在完成数据库操作后,直接调用hotel-demo提供的接口,

        也就是说MySQL修改完去修改es的数据 

  • 优点:实现简单,粗暴

  • 缺点:业务耦合度高

 方案二

 

 

  • hotel-admin对mysql数据库数据完成增、删、改后,发送MQ消息

  • hotel-demo监听MQ,接收到消息后完成elasticsearch数据修改

  • 优点:低耦合,实现难度一般

  • 缺点:依赖mq的可靠性

  • 这个实现方式也就是使用mq进行操纵,当我们修改MySQL的服务器修改完以后会将信息发送给MQ,然后修改ES的会进行监听,当监听到了以后就进行修改es的操作

方式三:

 

 

  • 给mysql开启binlog功能

  • mysql完成增、删、改操作都会记录在binlog中

  • hotel-demo基于canal监听binlog变化,实时更新elasticsearch中的内容

  • 也就是监听mysql,如果MySQL的数据有变化那么就直接去改变es的数据

  • 优点:完全解除服务间耦合

  • 缺点:开启binlog增加数据库负担、实现复杂度高

 在这里使用的是第二种实现方案:使用MQ来写


同步案例代码
 

用来操控ES的代码(负责监听MQ队列)

/**
     * 监听增加和修改的队列
     * 因为我们的ES中可以进行全量修改,当有这个id的数据的时候那么就先删除再新增,没有这个数据那么就直接新增
     * 所以队列过来的id不管是新增还是修改es都可以判断如果有这个数据id那么就先删除再新增,如果没有这个数据就直接新增,所以新增和修改他俩用一个方法就行了
     *
     * @param id 队列中需要进行操作的id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = MqConstants.HOTEL_INSERT_QUEUE),
            exchange = @Exchange(name = MqConstants.HOTEL_EXCHANGE, type = ExchangeTypes.DIRECT),
            key = MqConstants.HOTEL_INSERT_KEY
    ))
    public void insertAndUpdate(Long id) {
        if (id == null) {
            return;
        }
        log.info("入参:{}", id);
        //监听到以后拿到id去数据库查询整个数据
        Hotel hotel = iHotelService.getById(id);
        //因为查的mysql数据和es的数据有些不一样所以需要做转换
        HotelDoc hotelDoc = new HotelDoc(hotel);
        //转换为json
        String hotelDocJson = JSON.toJSONString(hotelDoc);
        System.out.println("hotelDocJson = " + hotelDocJson);
        //发送到ES中,因为我们的ES中可以进行全量修改,当有这个id的数据的时候那么就先删除再新增,没有这个数据那么就直接新增
        //创建请求语义对象 添加文档数据
        IndexRequest request = new IndexRequest("hotel");
        //这个新增就是PUT在es中
        request.id(hotel.getId().toString()).source(hotelDocJson, XContentType.JSON);
        //发送请求
        try {
            IndexResponse response = client.index(request, RequestOptions.DEFAULT);
            RestStatus status = response.status();
            log.info("响应结果为:{}", status);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 监听删除队列
     *
     * @param id 队列中需要进行操作的id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = MqConstants.HOTEL_DELETE_QUEUE),
            exchange = @Exchange(name = MqConstants.HOTEL_EXCHANGE, type = ExchangeTypes.DIRECT),
            key = MqConstants.HOTEL_DELETE_KEY
    ))
    public void deleteByMqId(Long id) {
        if (id == null) {
            return;
        }
        log.info("入参:{}", id);
        //先创建语义对象,直接就可以给里面写id的字段
        DeleteRequest request = new DeleteRequest("hotel", id.toString());
        //发送请求
        try {
            DeleteResponse response = client.delete(request, RequestOptions.DEFAULT);
            RestStatus status = response.status();
            log.info("响应结果为:{}", status);
        } catch (IOException e) {
            e.printStackTrace();
        }

 用来操作MySQL的代码:
 

@RestController
@RequestMapping("hotel")
public class HotelController {

    //注入和RabbitMQ链接
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Autowired
    private IHotelService hotelService;

    @GetMapping("/{id}")
    public Hotel queryById(@PathVariable("id") Long id) {
        return hotelService.getById(id);
    }

    @GetMapping("/list")
    public PageResult hotelList(
            @RequestParam(value = "page", defaultValue = "1") Integer page,
            @RequestParam(value = "size", defaultValue = "1") Integer size
    ) {
        Page<Hotel> result = hotelService.page(new Page<>(page, size));

        return new PageResult(result.getTotal(), result.getRecords());
    }

    @PostMapping
    public void saveHotel(@RequestBody Hotel hotel) {
        hotelService.save(hotel);
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE, MqConstants.HOTEL_INSERT_KEY, hotel.getId());
    }

    @PutMapping()
    public void updateById(@RequestBody Hotel hotel) {
        if (hotel.getId() == null) {
            throw new InvalidParameterException("id不能为空");
        }
        hotelService.updateById(hotel);
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE, MqConstants.HOTEL_INSERT_KEY, hotel.getId());
    }

    @DeleteMapping("/{id}")
    public void deleteById(@PathVariable("id") Long id) {
        hotelService.removeById(id);
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE, MqConstants.HOTEL_DELETE_KEY, id);
    }
}

当然也是可以不使用注解来写,直接在配置文件中写队列绑定的交换机
RabbitMQ_小白要变大牛的博客-优快云博客RabbitMqhttps://blog.youkuaiyun.com/hnhroot/article/details/125463948?spm=1001.2014.3001.5502

### 关于 MySQL Elasticsearch 数据同步的方法 #### 方法一:基于 Logstash 的数据同步 Logstash 是一种广泛使用的工具,能够从多种来源收集并处理数据,最终将其传输至目标存储库。通过配置 Logstash 插件,可以从 MySQL 中提取增量或全量的数据,并实时加载到 Elasticsearch 中[^2]。 以下是使用 Logstash 进行 MySQLElasticsearch 同步的一个基本配置示例: ```yaml input { jdbc { jdbc_driver_library => "/path/to/mysql-connector-java.jar" jdbc_driver_class => "com.mysql.cj.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://localhost:3306/your_database" jdbc_user => "root" statement => "SELECT * FROM your_table WHERE updated_at > :sql_last_value" use_column_value => true tracking_column => "updated_at" schedule => "* * * * *" # 每分钟执行一次 } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "your_index_name" document_id => "%{id}" } } ``` 此方法适合中小规模的应用场景,但对于高并发环境可能需要额外优化性能[^2]。 --- #### 方法二:利用 Binlog 实现实时同步 Binlog 是 MySQL 提供的一种日志功能,记录了数据库中的每一项变更操作。通过解析这些日志文件,可以捕获所有的更新事件并将它们转发给 Elasticsearch。这种方法通常依赖第三方工具如 **Maxwell** 或 **Canal** 来完成。 ##### Maxwell 配置实例: 安装并运行 Maxwell 后,可以通过以下命令启动服务,将 MySQL 的变更流式推送到 Kafka 或其他消息队列中,再由消费者程序写入 Elasticsearch[^1]。 ```bash maxwell --user='maxwell' \ --password='password' \ --host='127.0.0.1' \ --producer=kafka \ --kafka.bootstrap.servers=localhost:9092 ``` 随后,在消费端编写逻辑来监听 Kafka 主题,并将接收到的消息索引到 Elasticsearch 中。 --- #### 方法三:双写模式 (Dual Writing) 在这种方式下,应用程序在向 MySQL 执行写入的同时也直接调用 Elasticsearch API 更新对应的文档内容。虽然实现起来较为简单直观,但它存在一定的风险——如果两者的状态未能保持一致,则可能导致不一致性问题发生[^1]。 为了缓解这一隐患,建议引入事务机制或者幂等设计原则以增强系统的可靠性。 --- #### 方法四:借助 ETL 工具(例如 Apache Nifi) Apache NiFi 是一款强大的分布式、可靠且易扩展的系统集成框架,支持复杂的工作流程编排以及异构数据源间的交互。它内置了许多处理器节点用于连接不同的技术栈,比如读取关系型数据库表并通过 HTTP 请求提交 JSON 负载至 RESTful 接口等动作均可轻松定义出来[^1]。 下面展示了一个简单的 NiFi 流程片段截图说明如何设置此类任务。(由于无法嵌入图片,请自行查阅官方文档获取更多细节) ![nifi-flow](https://example.com/nifi_flow_diagram) --- 综上所述,每种策略都有各自适用范围及其局限性,具体选择哪一种取决于实际业务需求技术条件等因素综合考量之后决定最为合适的方式。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值