- 博客(6)
- 收藏
- 关注
RSS订阅原创 MySQL → Elasticsearch 同步实践指南（基于 Canal + Spring Boot 示例）
作为业务实体代替真实实体，避免泄露敏感信息。你可以把文中的类名、索引名、表名替换为你的实际业务。本指南整理了一套从 MySQL 同步数据到 Elasticsearch 的可落地方案。时间字段序列化异常（LocalDateTime not supported）字符集问题（Invalid charset id: 255）ES 显示“创建”但你做了 UPDATE。
2025-09-26 14:49:34
781
原创 SpringBoot定时任务动态执行
接口在Spring Boot应用程序中提供了一种在应用程序启动时运行代码的简单方法。当你实现了CommandLineRunner接口，并将其实例化为Spring容器中的Bean时，Spring Boot会在启动时自动调用run方法。CommandLineRunner接口的实现类的启动顺序通常是通过它们在Spring容器中的定义顺序来确定的。这意味着，如果你在配置类中定义了多个实现了CommandLineRunner接口的Bean，那么这些Bean会按照它们在配置类中被声明的顺序依次执行。
2024-10-30 12:00:34
605
原创 kafka千万级数据挤压问题解决
由执行结果可以看出，10个线程并不是一次性都执行完的，根据打印的时间，看出前五个线程是同时进行的，因为我们将信号量的初始值设为了5，等有线程释放了信号量之后，其他线程再继续执行。最开始为了将集群的性能调到最大，部署了10个节点，每个节点消费一个分区，首先将数据处理线程设置为20个，在这种情况下，消费速度明显提升，已经不存在数据堆积的问题。信号量数，信号量减相应数量，然后允许共享这个资源；由于消费者监听到数据后，是存入了阻塞队列中，若节点重启，则会丢失阻塞队列中的数据，针对这一问题，准备尝试使用信号量解决。
2024-10-29 17:56:09
1519
原创 多线程下的生产消费者模型
生产消费者模型是多线程情况的经典案例：生产者和消费者在同一时间内同时操作一个内存空间，即内存缓冲区。生产者向缓冲区中存入数据，当缓冲区已满时，生产者阻塞，等缓冲区有剩余空间时继续存入数据；消费者从这个缓冲区取出数据，当缓冲区为空时，消费者阻塞，等缓冲区内有数据时继续取出数据。
2024-10-24 15:36:52
500
原创 kafka配置多个生产消费者及动态配置监听策略
本文主要是对springboot整合kafka时如何配置多个生产者和消费者，以及动态设置消费者是否自动监听topic进行总结。
2024-10-24 15:06:54
965
原创 postgres数据库常用函数及语句
本文内容主要包含一些我日常开发中积累下来疑难postgres数据库函数及语句，不包含基础的函数以及创建表结构、修改表结构等ddl语句。
2024-07-09 20:34:22
589
1
空空如也
推送大数据给kafka
2023-10-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人