hanyi_的专栏

在过去的一段时间里，我们利用了AI大模型写了一个多线程并发框架，那么，我们怎样集成到Kafka组件里，让消费速度提升N倍呢？《AI大模型编写多线程并发框架（六十一）：从零开始搭建框架》《AI大模型编写多线程并发框架（六十二）：限流和并发度优化》《AI大模型编写多线程并发框架（六十三）：监听器优化·上》《AI大模型编写多线程并发框架（六十四）：监听器优化·下》《AI大模型编写多线程并发框架（六十五）：发布和应用》Github源码。

在软件开发的世界里，分享和协作是推动技术进步的重要力量。当你开发了一个优秀的SpringBoot插件，并希望将其分享给全世界的开发者使用时，将插件发布到Maven中央仓库（Central Repository）成为了一个理想的选择。本文将以发布一个SpringBoot插件到Maven中央仓库为例，详细介绍发布流程，并对比2024年之前和之后的发布区别。以macbook为例，介绍如何发布jar到中央仓库。

在分布式服务的架构演进中，消息队列作为核心组件之一，承载着解耦、异步、削峰填谷等关键职责。Apache Kafka 作为业界广泛使用的分布式流处理平台，因其高吞吐、低延迟的特性被大量应用在各类大数据场景中。然而，随着业务的复杂度不断提升，如何在 SpringBoot 中高效地整合并管理多个 Kafka 数据源，成为了一个值得探讨的问题。在过去的一段时间里，我们通过系列文章详细阐述了如何在 SpringBoot 中以零代码或极低的代码侵入方式，实现多 Kafka 数据源的整合。

本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-starter < version > 最新版本号

本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-starter < version > 最新版本号

本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-consumer-starter < version > 最新版本号

本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-consumer-starter < version > 最新版本号

本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-consumer-starter < version > 最新版本号

SpringBoot支持集成Mockito做单元测试，我们在本地做单元测试测试的时候，经常因为环境等问题需要mock掉外部方法（远程调用、DB查询等），在Mock掉的同时，如果也想根据入参条件返回mock结果，需要怎样做呢？

让我们来看一下网上是怎样使用SpringBoot整合kafka数据源的，都存在哪些痛点？手撸kafka配置代码，各种硬编码，无法利用SpringBoot的约定大于配置的优势。当项目需要消费的topic，而且他们在不同集群时，需要不断地复制粘贴config和factory，如果项目需要5个不同集群的topic以上，那么这些代码将面临巨大维护压力，并且极其容易出错。假如来了个新业务，也是消费kafka，然后做一些业务逻辑处理，你会发现你不得不又搭建一个新工程，然后重复上述步骤，把代码和配置都复制粘贴一遍。

SpringBoot支持集成Mockito做单元测试，有时候SpringBoot有很多外部依赖，在本地很难启动或者启动时间很长，而我们只想对某个方法进行测试，需要怎样做呢？

聊的不止技术。跟着小帅写代码，还原和技术大牛一对一真实对话，剖析真实项目筑成的一砖一瓦，了解最新最及时的资讯信息，还可以学到日常撩妹小技巧哦，让我们开始探索主人公小帅的职场生涯吧！（PS：本系列文章以幽默风趣风格为主，较真侠和杠精请绕道~）...

聊的不止技术。跟着小帅写代码，还原和技术大牛一对一真实对话，剖析真实项目筑成的一砖一瓦，了解最新最及时的资讯信息，还可以学到日常撩妹小技巧哦，让我们开始探索主人公小帅的职场生涯吧！（PS：本系列文章以幽默风趣风格为主，较真侠和杠精请绕道~）...

玩转SpringBoot，像搭积木一样简单。在业务系统升级时，数据迁移是必不可少的一环。数据迁移又分离线和在线的方式，即存量数据和增量数据在平滑升级中融合。常用的DB数据迁移方式也有很多，文件拷贝、mysqldump、主从同步、canal、DataX、愚公、DTS等等，但这些方式往往是以镜像方式迁移，虽然有些工具支持数据类型或者字段名称转换，但支持不了复杂的转换，例如json转换等。本文将介绍如何封装支持复杂类型的数据迁移工具。...

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、容器模式四、小结前言玩转SpringBoot，像搭积木一样简单。在实际数据加工处理的业务中，整体数据链路比较长。下游加工逻辑在频繁迭代的时候，往往需要把客户接入的请求进行数据重放，来达到灰度升级的目的。那怎样快速把客户接入的数据重放给下游链路呢？一、本文要点前面的文章，介绍了基于Jolt如何实现业务型的ETL工具，本文将介绍这款工具的实际应用场景，如何快速将DB数据快速重放到kafka。系列文章完整目录JSON

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、容器模式四、小结前言玩转SpringBoot，像搭积木一样简单。消费kafka消息，然后把数据存储到DB，这是一个很典型的业务了，相信每个小伙伴们都有类似的需求。遇到这类需求，大部分的做法都是从零开始搭建一个消费工程。这样的重复劳作无疑是非常的繁琐的，但如果我们只是仅仅把kafka消息转换成另外一个格式存储到DB，有没有通用的架构呢？一、本文要点前面的文章，介绍了基于Jolt如何实现业务型的ETL工具，本文将介绍这款

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、容器模式四、JOLT实现数据转换五、总体设计六、小结前言将kafka消息转存到es，提供业务方检索，这是一种很常见的业务场景。例如数据检索、日志ELK等等。但假如kafka的消息结构和es的数据结构相差比较大，怎样办呢？硬编码去做字段映射？本文介绍一个便捷的方式，15分钟实现kafka消息转存es。一、本文要点前面的文章，介绍了基于Jolt如何实现业务型的ETL工具，本文将介绍这款工具的实际应用场景，如何快速将kafk

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、Jolt 是什么？四、JOLT实现数据转换五、总体设计六、小结前言随着需求演进迭代，经常需要把上游进来的一份数据，按照不同数据格式（字段打平、名称修改、类型转换、结构调整、数据过滤）转存或者分发到各应用。而在其中，我们耗费了不少的人力在json to json和sink to where的编码上。一、本文要点前面的文章，介绍了Docker搭建各种环境、SpringBoot整合各种中间件、如何把应用部署到云容器，本文开始

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、修改项目五、测试一下六、小结前言面试官总喜欢问：你写过SpringBoot Starter吗？自己动手写一个SpringBoot，难吗？真的不难，网上随便一搜，各种教程文章一大堆。那为什么面试官还是喜欢问呢？其实我们可以换位思考一下，候选人工作好些年了，早已经度过了复制粘贴，到复制改写年龄，应当具备封装能力，甚至定制能力。假设你没有任何亮点，这么多CRUD工程师，我为什么要选你呢？这里不详细讲Spring

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、编写真实Service类TagService.java四、编写测试类四、小结前言企业上云是比较热门的话题也是趋势，越来越多的企业放弃传统IDC选择上云，因为把服务上云，一来可以降低企业技术开发成本，而来升级扩容灵活，减少运维成本。那么在容器集群的开发模式是怎样的呢？我们来揭开它神秘的面纱。一、本文要点接前文，我们演示过怎样把一个nginx服务部署到容器集群，然后了解CI/CD的前世今生，发下nginx部署流程还是挺繁琐

系列文章目录 文章目录系列文章目录前言一、石器时代二、铁器时代三、蒸汽时代四、容器时代五、小结前言接前文，我们体验了一把将nginx应用部署到容器集群上的流程，想必有些同学会发问，服务发布到容器集群的流程也不是很便捷啊！不用着急，我们先回顾一下持续集成和持续部署的前世今生。系列文章完整目录一、石器时代这是比较早的一种交付模式，通过纯手工编译打包，然后通过SecurityCRT/XShell等软件上传war包，然后服务应用服务器的war包目录，再重启应用服务器Tomcat/Resin

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、编写真实Service类TagService.java四、编写测试类四、小结前言SpringBoot支持集成Mockito做单元测试，我们在本地做单元测试测试的时候，经常因为环境等问题需要mock掉外部方法（远程调用、DB查询等），在Mock掉的同时，如果也想根据入参条件返回mock结果，需要怎样做呢？一、本文要点接前文，我们已经已介绍SringBoot如果做单元测试了，本文介绍在两种mock模式下，怎样根据入参返回自

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建容器集群四、小结前言以前，我们部署一个应用或者接口服务，往往是先编译构建打成jar或者war包，然后通过shell脚本或命令上传到虚拟机或者物理机上，覆盖Tomcat或其它容器指定目录，然后再重启Tomcat进程来升级应用或者接口服务。这种模式实施起来较为简单，但在如今看来，存在诸多缺陷。例如：应用服务无法动态扩缩容，应用服务很难做到资源隔离等等，服务混合部署难管理，资源能充分利用等。现在有了容器服务，这些问题会得到很大

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建容器集群四、修改项目五、测试一下六、小结前言在前面的系列文章，我们介绍了怎样去部署各种中间件去搭建开发环境，也介绍了怎样用SpringBoot去整合这些组件。那当我们把一个应用或者服务开发好了后，怎样去部署呢？本文将介绍怎样将一个微服务部署到腾讯云容器集群上。有些同学可能会问，发布部署这些东西不是运维做的事情么？我一个业务开发为什么要去了解这些？其实去了解一个服务的设计、开发、测试、交付乃至一个产品/业务流水线及生命周期

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、修改项目五、测试一下六、小结前言在日常开发当中，经常会遇到需要消费的topic不在同一个kafka集群内，这时候需要配置多个数据源，如何优雅地完成这个配置呢？一、本文要点接前文，我们已经在项目里集成了kafka。本文将介绍如何优雅地整合多个kafka数据源。系列文章完整目录springboot 整合多个kafka数据源springboot 整合多个消费者topickafka listener 配置f

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、修改项目五、测试一下六、小结前言在日常开发当中，我们经常需要通过SQL语句和执行耗时来定位问题。但mybatis框架是没有直接提供这种能力，只提供了非完整（即带” ？“ 占位符）语句的打印，不是很方便。那我们有什么方法实现目标呢？1、数据库慢查询日志优点：实现简单缺点：和业务日志有断层，且不一定有机器权限2、p6spy、log4jdbc、 jdbcdslog-exp 等组件优点：无需编码，只需配置缺

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、自定义校验五、测试一下六、小结前言群里有个小伙伴提问，SpringBoot项目怎样做参数校验，防止SQL注入？改动尽量少，高灵活，因为并不是每个参数有需要校验的。一、本文要点接前文，我们介绍了如何做spring拓展，轻松面对面试官的提问了。本文介绍如何自定义参数校验，保护我们的系统，避免各种参数问题。系列文章完整目录springboot 自定义校验参数springboot 自定义校验规则spri

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、项目改造四、运行一下五、小结前言群里有个小伙伴反馈说，前段时间去面试被面试官问到：你做过spring框架的哪些功能上的拓展呢？他说当时心里瞬间就凉了一截，满脑子浮现的是IOC和AOP，spring拓展实在想不起来是啥。为什么面试官都喜欢问spring拓展？为什么我们背过spring容器初始化流程还是回答不出来呢？其实这里主要考察候选人对spring框架的掌握程度，如果你能熟练运用spring的拓展点，也就间接证明了你对IO

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、添加脚手架配置四、完整脚手架目录六、运行一下七、小结前言随着需求的变更或者流量暴增，服务被拆分得越来越单一。但每次搭建新服务都是比较痛苦的事情，得重头开始复制黏贴。不仅仅纯搬砖工作没技术含量，而且容易出错，且每个同学搭建的项目千差万别，各种不统一。那怎样解决这种问题呢？本文将介绍制作自定义项目脚手架，去生成项目的基本架构，做到统一组件版本、统一配置、统一风格。一、本文要点接上文，我们已经整合mysql、redis、

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、安装apollo服务端四、增加Apollo依赖五、修改配置文件六、修改项目代码七、运行一下八、小结前言Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性。使用配置中心，可以更加集中化方便管理项目的配置，脱敏安全问题，热更新等好处。一、本文要点接上文，我们已经简单演示了Springboot整合Apo

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、安装apollo服务端四、修改pom.xml文件五、修改配置文件六、修改项目代码七、运行一下八、小结前言Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性。使用配置中心，可以更加集中化方便管理项目的配置，脱敏安全问题，热更新等好处。一、本文要点接上文，我们已经把SpringBoot整合mybati

一、本文要点接上文，我们已经把SpringBoot整合mybatis+Hikari+es+redis+kafka了，本文将介绍SpringBoot如何整合dubbo。系列文章完整目录dubbo注解版使用dubbo provider、dubbo consumermaven多模块配置、maven批量修改项目版本号springboot整合dubbo、zookeeper、zookeeper集群配置springboot + mybatis + Hikari + elasticsearc

一、本文要点接上文，我们已经把SpringBoot整合mybatis+Hikari+es+redis了，并且通过docker搭建好了kafka环境，本文将介绍SpringBoot如何整合kafka，利用MQ技术，做到削峰填谷，模块解耦。系列文章完整目录kafkalistener 测试消息解耦消息分区时序性springboot整合kafkaspringboot + mybatis + Hikari + elasticsearch + redis + kafka二、开发环境

一、本文要点接上文，我们已经把SpringBoot整合mybatis+Hikari+es了，并且通过docker搭建好了redis环境，本文将介绍SpringBoot如何整合redis，利用缓存技术，使接口快得飞起来。系列文章完整目录redis操作工具类lettuce连接池cacheManager注解使用，自动缓存和失效移除、序列化器springboot整合redis，lettuce单元测试回滚数据库事务springboot + mybatis + Hikari + e

一、本文要点接上文，我们已经把SpringBoot整合mybatis和Hikari了，并且通过docker搭建好了ES和Kibana，本文将介绍SpringBoot如何整合ES，支持搜索功能。系列文章完整目录junit 5 单元测试restHighLevelClient 保存对象restHighLevelClient 根据id获取对象objectMapper序列化和反序列化springboot整合elasticsearchspringboot + mybatis + d

一、本文要点接上文，我们已经把SpringBoot整合mybatis了，本文将介绍SpringBoot如何整合阿里的数据库连接池druid，管理我们的数据库连接池。阿里的druid会提供了基础监控，不过如果配置不当，会有安全问题。springboot整合druidjunit 5 单元测试自动回滚单元测试操作DB数据springboot + mybatis + druidyml 和 properties 在线互转二、开发环境jdk 1.8maven 3.6.2my

一、本文要点接上文，我们已经把SpringBoot整合mybatis了，本文将介绍SpringBoot如何整合数据库连接池HikariCP，管理我们的数据库连接池。什么是HikariCP？可以看下官网介绍。实际上高版本的Springboot默认使用的连接池就是它，这里着重介绍一下如何配置整合。Fast, simple, reliable. HikariCP is a “zero-overhead” production ready JDBC connection pool. At roughly 130

一、本文要点会员服务需要用到数据库，我们这里采用mysql，orm框架采用mybatis，接上文代码，将介绍SpringBoot如何整合 mybatis，并自动生成CRUD代码。springboot整合mybatisspringboot整合mysqlmysql 授权mybatis插件自动生成代码junit 5 单元测试二、开发环境jdk 1.8maven 3.6.2lombok 1.18.18springboot 2.4.3mysql 5.6.46juni

一、本文要点开发一个系统，至少包含开发环境、测试环境、正式环境，使得系统可以运行在不同的环境运行不同的配置，例如数据库、redis等等，接上文代码，将介绍如何整合 springboot + maven + logback + properties 多环境配置。springboot和maven多环境profilelogback多环境配置logback按天滚动和压缩日志二、开发环境jdk 1.8maven 3.6.2lombok 1.18.18springboot 2.4.3