阿里P8浅析Spring Boot和Apache Kafka结合实现错误处理,消息转换和事务支持?

分布式消息队列三大核心使命:削峰、解耦与一致性保障 分布式消息队列是现代高并发系统的基础中间件,其本质是通过异步通信与缓冲机制,解决流量瞬时激增导致的系统雪崩问题。原理上,它依托持久化存储、消费者确认(ACK)与发布/订阅模型,实现写入高吞吐与消费可控性;技术价值在于降低模块耦合度、提升系统容错能力,并为最终一致性提供可靠载体;典型应用场景涵盖电商秒杀、实时推荐、日志采集及跨服务事务编排等。尤其在日活百万级网站中,消息队列承担着削峰填谷、逻辑解耦和状态快照三重关键使命,成为保障可用性与数据可靠性的核心基础设施。 阅读详情

Spring为Kafka带来了熟悉的Spring编程模型。它提供了KafkaTemplate用于发布记录和用于异步执行POJO侦听器的侦听器容器。Spring Boot自动配置连接了大部分基础架构,因此您可以专注于业务逻辑。

错误恢复

考虑这个简单的POJO侦听器方法:

@KafkaListener(id = "fooGroup", topics = "topic1")
public void listen(String in) {
  logger.info("Received: " + in);
  if (in.startsWith("foo")) {
    throw new RuntimeException("failed");
  }
}

默认情况下,只记录失败的记录,然后我们继续下一个记录。但是,我们可以在侦听器容器中配置错误处理程序以执行其他操作。为此,我们使用我们自己的方法覆盖Spring Boot的自动配置容器工厂:

@Bean
public ConcurrentKafkaListenerContainerFactory kafkaListenerContainerFactory(
    ConcurrentKafkaListenerContainerFactoryConfigurer configurer,
    ConsumerFactory<Object, Object> kafkaConsumerFactory) {
  ConcurrentKafkaListenerContainerFactory<Object, Object> factory = new ConcurrentKafkaListenerContainerFactory<>();
  configurer.configure(factory, kafkaConsumerFactory);
  factory.setErrorHandler(new SeekToCurrentErrorHandler()); // <<<<<<
  return factory;
}

请注意,我们仍然可以利用大部分自动配置。

SeekToCurrentErrorHandler丢弃来自poll()剩下的记录,并执行seek操作实现消费者操作偏移offset复位,使丢弃记录在下一次轮询再取出。默认情况下,错误处理程序会跟踪失败的记录,在10次传递尝试后放弃并记录失败的记录。但是,我们也可以将失败的消息发送到另一个主题。我们称之为死信主题。

下面是合在一起代码:

@Bean
public ConcurrentKafkaListenerContainerFactory kafkaListenerContainerFactory(
    ConcurrentKafkaListenerContainerFactoryConfigurer configurer,
    ConsumerFactory<Object, Object> kafkaConsumerFactory,
    KafkaTemplate<Object, Object> template) {
  ConcurrentKafkaListenerContainerFactory<Object, Object> factory = new ConcurrentKafkaListenerContainerFactory<>();
  configurer.configure(factory, kafkaConsumerFactory);
  factory.setErrorHandler(new SeekToCurrentErrorHandler(
      new DeadLetterPublishingRecoverer(template), 3));
  return factory;
}

@KafkaListener(id = "fooGroup", topics = "topic1")
public void listen(String in) {
  logger.info("Received: " + in);
  if (in.startsWith("foo")) {
    throw new RuntimeException("failed");
  }
}

@KafkaListener(id = "dltGroup", topics = "topic1.DLT")
public void dltListen(String in) {
  logger.info("Received from DLT: " + in);
}

反序列化错误

但是,在Spring获得记录之前发生的反序列化异常呢?使用ErrorHandlingDeserializer。此反序列化器包装委托反序列化器并捕获任何异常。然后将它们转发到侦听器容器,该容器将它们直接发送到错误处理程序。该异常包含源数据,因此您可以诊断问题。

领域对象并推断类型

请考虑以下示例:

@Bean
public RecordMessageConverter converter() {
  return new StringJsonMessageConverter();
}

@KafkaListener(id = "fooGroup", topics = "topic1")
public void listen(Foo2 foo) {
  logger.info("Received: " + foo);
  if (foo.getFoo().startsWith("fail")) {
    throw new RuntimeException("failed");
  }
}

@KafkaListener(id = "dltGroup", topics = "topic1.DLT")
public void dltListen(Foo2 in) {
  logger.info("Received from DLT: " + in);
}

请注意,我们现在正在使用类型的对象Foo2。消息转换器bean推断要转换为方法签名中的参数类型的类型。转换器自动“信任”该类型。Spring Boot自动将转换器配置到侦听器容器中。

在生产者方面,发送的对象可以是不同的类(只要它是类型兼容的):

@RestController
public class Controller {

    @Autowired
    private KafkaTemplate<Object, Object> template;

    @PostMapping(path = "/send/foo/{what}")
    public void sendFoo(@PathVariable String what) {
        this.template.send("topic1", new Foo1(what));
    }

}

配置:

spring:
  kafka:
    producer:
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer

$ curl -X POST http://localhost:8080/send/foo/fail

在这里,我们使用StringDeserializer,并在消费者端使用一个“智能”消息转换器。

多方法监听器

我们还可以使用单个侦听器容器并根据类型路由到特定方法。由于有多个方法,类型需要选择要调用的方法,因此这里我们就无法推断类型了。

相反,我们依赖于记录头中传递的类型信息来从源类型映射到目标类型。此外,由于我们不推断类型,我们需要配置消息转换器以“信任”包的映射类型。

在这种情况下,我们将在两侧使用消息转换器( StringSerializer和StringDeserializer 一起使用)。以下消费者侧转换器示例将它们放在一起:

@Bean
public RecordMessageConverter converter() {
  StringJsonMessageConverter converter = new StringJsonMessageConverter();
  DefaultJackson2JavaTypeMapper typeMapper = new DefaultJackson2JavaTypeMapper();
  typeMapper.setTypePrecedence(TypePrecedence.TYPE_ID);
  typeMapper.addTrustedPackages("com.common");
  Map<String, Class<?>> mappings = new HashMap<>();
  mappings.put("foo", Foo2.class);
  mappings.put("bar", Bar2.class);
  typeMapper.setIdClassMapping(mappings);
  converter.setTypeMapper(typeMapper);
  return converter;
}

在这里,我们将“foo”映射到类Foo2,将“bar” 映射到类Bar2。请注意,我们必须告诉它使用TYPE_ID标头来确定转换的类型。同样,Spring Boot会自动将消息转换器配置到容器中。下面是application.yml文件片段中的生产者端类型映射; 格式是以冒号分隔的token:FQCN列表:

spring:
  kafka:
    producer:
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
      properties:
        spring.json.type.mapping: foo:com.common.Foo1,bar:com.common.Bar1

此配置将类映射Foo1到“foo”,将类映射Bar1到“bar”。

监听器:

@Component
@KafkaListener(id = "multiGroup", topics = { "foos", "bars" })
public class MultiMethods {

    @KafkaHandler
    public void foo(Foo1 foo) {
        System.out.println("Received: " + foo);
    }

    @KafkaHandler
    public void bar(Bar bar) {
        System.out.println("Received: " + bar);
    }

    @KafkaHandler(isDefault = true)
    public void unknown(Object object) {
        System.out.println("Received unknown: " + object);
    }

}

生产者:

@RestController
public class Controller {

    @Autowired
    private KafkaTemplate<Object, Object> template;

    @PostMapping(path = "/send/foo/{what}")
    public void sendFoo(@PathVariable String what) {
        this.template.send(new GenericMessage<>(new Foo1(what),
                Collections.singletonMap(KafkaHeaders.TOPIC, "foos")));
    }

    @PostMapping(path = "/send/bar/{what}")
    public void sendBar(@PathVariable String what) {
        this.template.send(new GenericMessage<>(new Bar(what),
                Collections.singletonMap(KafkaHeaders.TOPIC, "bars")));
    }

    @PostMapping(path = "/send/unknown/{what}")
    public void sendUnknown(@PathVariable String what) {
        this.template.send(new GenericMessage<>(what,
                Collections.singletonMap(KafkaHeaders.TOPIC, "bars")));
    }

}

事务

通过在application.yml文件中设置transactional-id-prefix来启用事务:

spring:
    kafka:
      producer:
        value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
        transaction-id-prefix: tx.
      consumer:
        properties:
          isolation.level: read_committed

当使用spring-kafka 1.3.x或更高版本以及支持事务的kafka-clients版本(0.11或更高版本)时,方法中KafkaTemplate执行的任何操作@KafkaListener都将参与事务,并且侦听器容器将在提交之前将偏移发送到事务它。认识到我们还为消费者设置了隔离级别,使其无法查看未提交的记录。以下示例暂停侦听器,以便我们可以看到此效果:

@KafkaListener(id = "fooGroup2", topics = "topic2")
public void listen(List foos) throws IOException {
  logger.info("Received: " + foos);
  foos.forEach(f -> kafkaTemplate.send("topic3", f.getFoo().toUpperCase()));
  logger.info("Messages sent, hit enter to commit tx");
  System.in.read();
}

@KafkaListener(id = "fooGroup3", topics = "topic3")
public void listen(String in) {
  logger.info("Received: " + in);
}

此示例的生产者在单个事务中发送多个记录:

@PostMapping(path = "/send/foos/{what}")
public void sendFoo(@PathVariable String what) {
  this.template.executeInTransaction(kafkaTemplate -> {
    StringUtils.commaDelimitedListToSet(what).stream()
      .map(s -> new Foo1(s))
      .forEach(foo -> kafkaTemplate.send("topic2", foo));
    return null;
  });
}

curl -X POST http://localhost:8080/send/foos/a,b,c,d,e

Received: [Foo2 [foo=a], Foo2 [foo=b], Foo2 [foo=c], Foo2 [foo=d], Foo2 [foo=e]]
Messages sent, hit Enter to commit tx

Received: [A, B, C, D, E]

写在最后:

既然看到这里了,觉得笔者写的还不错的就点个赞,加个关注呗!点关注,不迷路,持续更新!!!

Redis redis 阅读详情

相关推荐

【信息科学与工程学】计算机科学与自动化——第三百零四篇 高性能系统开发指南01

高并发:限流、熔断、降级高性能:红包拆分、多级缓存、大Key/热Key拆分、Pipeline、线程池、RocketMQ零丢失、幂等、分布式锁、集群缩容、分批入库海量数据处理:日志分表分片、跨表查询、冷热分层、大数据引擎服务器选型系统安全:网关安全、服务器安全、云存储安全、风控、监控、测试数据一致性:缓存与数据库一致性、大厂方案、蓝绿回滚、流量一致性、流程一致性项目与团队管理:流程问题、管理问题(风险、成本、人员、文档、培训)稳定性建设:上线三板斧、线上五步闭环、混沌工程、容量规划。

weixin_49199313的博客 252

OpenClaw 实操指南:从安装部署到接入飞书,AI 数字员工如何落地

在人工智能快速渗透办公场景的今天,AI Agent 已从简单的对话问答演进为能够直接操作电脑、调用工具、自动执行任务的智能体。其核心原理在于将大模型与工作区、技能包和审批机制相结合,形成可闭环的任务执行链。这一技术价值在于把重复性、流程性工作自动化,显著降低团队协作成本,释放人力投入到更具创造性的决策环节。实际应用中,无论是通过自定义中转站接入云端 API,还是利用 Ollama 运行本地模型,亦或借助飞书机器人打通消息与任务流,都让“AI 数字员工”从概念走向日常。本文正是基于 OpenClaw 的完整落

weixin_34224941的博客 811

SystemC实战:用C++搞芯片建模的5个典型场景(含代码示例)

本文通过五个典型实战场景,详细介绍了如何使用SystemC这一基于C++的硬件建模库进行芯片设计与系统级建模。内容涵盖从基础并发模块构建、事务级总线建模、跨时钟域验证,到与ModelSim协同仿真及多核系统性能探索,并提供了完整的代码示例,帮助软件工程师利用熟悉的C++工具链高效参与硬件架构设计与验证。

weixin_29191761的博客 317

SpringBoot2.0新特性 - RabbitMQ信任package设置

在用springboot2.0新特性集成rabbitmq的时候: MessageListenerAdapter adapter = new MessageListenerAdapter(new MessageDelegate()); adapter.setDefaultListenerMethod("consumeMessage"); Jack...

CrazyRango的博客 1138

Windows 本地安装 OpenClaw(龙虾)完整教程(纯净无广告)

《Windows系统OpenClaw本地AI网关安装指南》 本文提供Windows 10/11系统下OpenClaw(龙虾)AI网关的完整部署教程,包含: 环境配置:Node.js安装验证 核心安装:npm全局部署OpenClaw 模型对接:以DeepSeek为例配置API 扩展功能:飞书机器人集成方法 日常管理:启停命令/Web面板访问 卸载清理:完整移除服务与残留 教程涵盖初始化配置、技能管理、常见问题排查,特别说明管理员权限要求及飞书配对流程,适合新手30分钟内完成本地AI网关搭建。通过命令行操作与W

qiuxunbin_csdn的博客 642

将Python爬取的数据导入钉钉多维表

摘要:本文介绍将Python爬取的数据导入钉钉多维表的完整解决方案。首先通过requests库爬取数据并解析为结构化格式,然后使用钉钉开放平台API对接多维表。关键步骤包括获取app_key、app_secret等凭证,通过OAuth2获取access_token,以及批量写入记录。文章详细说明了参数获取位置、字段类型匹配、权限配置等注意事项,并提供了错误处理建议和性能优化方法。适用于需要将网络数据同步到钉钉多维表的开发场景。

IT深耕十余载,大道之简 2131

阿里资深技术专家浅析Spring Boot和Apache Kafka结合实现错误处理,消息转换和事务支持?

Spring为Kafka带来了熟悉的Spring编程模型。它提供了KafkaTemplate用于发布记录和用于异步执行POJO侦听器的侦听器容器。Spring Boot自动配置连接了大部分基础架构,因此您可以专注于业务逻辑。 错误恢复 考虑这个简单的POJO侦听器方法: @KafkaListener(id = "fooGroup", topics = "topic1") public...

一个天秤座的架构师 2万+

RHCSA Linux环境搭建

安装Linux操作系统一般有三种方式:为了便捷方便高效,因此本人选择通过虚拟机来使用Linux操作系统。先在官网(Download VMware Workstation Pro)下载好VMware workstation pro软件,下载安装完成后,需要激活打开。下载版本不同,所需激活码也不同(激活码可在网络上查找)

weixin_68256171的博客 1421

【kafka异常】使用Spring-kafka遇到的坑

查看一下压缩策略 bin/kafka-topics.sh --describe --zookeeper xxxx:2181 --topic SHI_TOPIC1 Topic:SHI_TOPIC1 PartitionCount:1 ReplicationFactor:1 Configs:cleanup.policy=compact Topic: SHI_TOPIC1 Partition: 0 Leader: 0 Replicas: 0 Isr: 0 Configs:cleanup.policy=compact

AK774S的博客 1万+

QCC308X/518X/309X加LDAC解码

QCC308X/518X/309X加LDAC解码。

Alex_886的博客 6614

OpenEarthMap 与 xBD 数据集合并

整合好的数据:链接: https://pan.baidu.com/s/1uJ_Zg6n-s3u1D49OW52D7Q?pwd=2vwx 提取码: 2vwx完整整合步骤与代码如下。

qq_60293814的博客 1599

在springboot中使用Kafka

在springboot中使用Kafka 文章目录在springboot中使用Kafka前言一、Kafka是什么?二、使用步骤1.引入依赖2.编写配置文件2.生产者代码3.消费者代码4.测试总结 前言 随着大数据的发展,Kafka变得愈发重要,本文主要介绍Kafka在Springboot中的使用 一、Kafka是什么? Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这

aw9165628的博客 2977

WPF 上位机可视化天花板:HandyControl 搭建 SCADA 系统

HandyControl 凭借「丰富的工业级控件、灵活的主题定制、优异的性能」,成为 WPF 开发 SCADA 系统的首选 UI 库。本文搭建的 SCADA 系统涵盖实时监控、设备控制、报警管理、趋势分析四大核心功能,通过 HandyControl 实现了工业级可视化效果,开发效率提升 60% 以上。控件开箱即用:无需自定义仪表盘、趋势图、指示灯等 SCADA 核心控件;可视化效果专业:工业风主题、动态颜色切换、清晰的状态呈现,契合工业场景需求;

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1127

【AI Agent】2026年9月 AI Agent 全栈开发最新技术面试宝典(含高频+必背+大厂真题)

本文整理了2026年AI Agent全栈开发最新技术面试题,涵盖基础概念、核心框架和系统设计等关键领域。重点解析了AI Agent与普通Chatbot的本质区别(自主闭环执行能力)、Agentic Loop的完整工作流程(规划-执行-观察-评估循环),以及ReAct范式的原理与适用场景。特别强调面试回答技巧:需结合工程实践中的典型问题、处理方案和量化指标,而非简单背诵定义。内容来自字节、阿里等大厂真实面经,适合3-5年经验开发者准备春招面试,突出考察候选人在复杂场景下的技术决策能力。

小江的记录本 4627

1、开启 Microsoft Power Automate 自动化之旅

本文介绍了 Microsoft Power Automate 的基本概念和其在信息时代自动化需求中的重要作用。Power Automate 是 Power Platform 的一部分,能够通过无代码/低代码的方式自动化处理重复性任务,例如邮件处理、文件复制等,从而提升工作效率。文章还详细讲解了 Power Automate 的核心术语、登录方式、创建第一个流程的操作步骤,并通过示例帮助用户快速上手。无论是终端用户还是管理员,都可以通过本文了解如何利用 Power Automate 实现业务流程自动化。

corn8的博客 170

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

AI与软件工程的本质区别:子弹与枪械的协同逻辑

人工智能和软件工程并非竞争关系,而是互补的技术范式:前者解决概率性逼近问题,后者保障确定性系统交付。理解二者在目标设定(统计最优 vs 功能契约)、失败模式(业务目标错位 vs 代码缺陷)、工程实践(模型漂移监控 vs 单元测试覆盖)上的根本差异,是构建可靠AI系统的前提。尤其在MLOps落地场景中,需融合AI的数据敏感性与软件工程的可观测性、可运维性,将黑箱模型封装为符合SLA的服务组件。本文聚焦真实项目中的协作断点与融合路径,帮助工程师规避‘重算法轻工程’或‘拒AI守旧栈’的认知陷阱。

weixin_30781775的博客 423

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Spring Boot 自定义kafka 消费者配置 ContainerFactory最佳实践

kafka 消费者配置,消费重试机制

jinzhiyong01的博客 9323

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

php set_error_handler不生效,php set_error_handler()函数使用详解

set_error_handler() 函数设置用户定义的错误处理函数。注释:如果使用该函数,会绕过标准 PHP 错误处理程序,同时如果必要,用户定义错误程序通过 die() 终止脚本。注释:如果错误发生在脚本执行之前(比如文件上传时),将不会调用自定义的错误处理程序因为它尚未在那时注册。语法set_error_handler(errorhandler,E_ALL|E_STRICT);参数描述er...

weixin_36060412的博客 367

spring集成kafka,以及常见错误解决

spring集成kafka,以及常见错误解决 一.配置kafka 1.引入jar包 <!--Kafka和spring集成的支持类库,spring和kafka通信监听--><!-- https://mvnrepository.com/artifact/org.springframework.integration/spring-integration-kafka --> <dependency> <groupId>org.springframewo

weixin_43757849的博客 9875

RabbitMQ消息的可靠性

消息可靠投递 在使用RabbitMQ的时候,作为消息发送方希望杜绝任何消息丢失或者投递失败场景。RabbitMQ为我们提供了两种方式用来控制消息的投递可靠性模式。 confirm 确认模式 return 退回模式 rabbitmq整个消息投递的路径为: producer—>rabbitmq broker—> exchange—>queue—>consumer 消息从producer 到exchange则会返回一个confirmCallback 。 ·消息从exchange–&g

ww55123793的博客 334

记录springboot整合kafka遇到的坑

一、版本兼容问题 初次搭建环境时,没有考虑到springboot和kafka会有版本冲突。 springboot: 2.1.8.RELEASE kafka: 2.1.11.RELEASE 启动报错: Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled. 2020-07-29 16:54:16.301 ERROR 4240 -

weixin_44329984的博客 3571

踩坑 Kafka异常重试设置KafkaListenerContainerFactory不生效的问题, 同时源码查看kafka重试机制

场景再现 最近在接触Kafka, 在消费者消费消息出现异常的时候, 会看到Kafka会一直重复拉取信息, 10次异常后才不再继续. 由于我是配置了告警的, 一次异常这样一弄就是刷刷10条告警信息, 想要调整, 根据网上的资料, 增加代码配置如下: @Bean public ConcurrentKafkaListenerContainerFactory containerFactory() { ConcurrentKafkaListenerContainerFactory factory = ne

zzzgd_666的博客 1万+

Error creating bean with name 'org.springframework.amqp.rabbit.config.ListenerContainerFactoryBean#0

Spring整合rabbitmq出现错误 严重: Exception sending context initialized event to listener instance of class org.springframework.web.context.ContextLoaderListener org.springframework.beans.factory.BeanCrea...

datouniao1的博客 4203

Error creating bean with name ‘kafkaListenerContainerFactory‘ ,springboot整合kafka版本出错

Error creating bean with name 'kafkaListenerContainerFactory' ,springboot整合kafka版本出错 将springboot版本修改成2.0.3 <parent> <!-- lookup parent from repository --> <groupId>org.springframework.boot</groupId> <artifactId>spring-b

weixin_41141000的博客 3150

SpringBoot集成kafka以及遇到的问题

版本介绍: Springboot:1.5.3 kafka:kafka_2.10-0.10.2.1 配置文件: server.port=6097 spring.application.name=DsInfoservice #============== kafka =================== kafka.consumer.zookeeper.connect=192.168.x...

longwenyanlan的博客 4646
上一篇: 阿里P8级架构师浅谈Java架构师的工作都干些什么?
下一篇: Java程序员为什么会有职业瓶颈?
大G哥
博客等级 码龄9年 5303粉丝 1408原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值