kafka学习笔记-优快云博客

本文链接：https://blog.youkuaiyun.com/hssjf/article/details/143655676

官方文档

kafka开发编程

开发编程stream

SpringCloudStream整理：
SpringCloudStream最全教程,包括配置文件描述_cloud stream 配置文件-优快云博客
 SpringcloudStream简单使用 - QiaoZhi - 博客园
 https://www.cqmaple.com/201906/spring-cloud-stream-kafka-demo.html
https://www.ucloud.cn/yun/33829.html
Spring cloud stream【入门介绍】 - 波波烤鸭 - 博客园
 Springcloud Stream详解与kafka整合实例_spring cloud stream kafka-优快云博客
 SpringCloudStream集成kafka - 枫树湾河桥 - 博客园
 SpringCloud stream 集成RabbitMQ 超详细版本_spring cloud stream rabbitmq-优快云博客

开发编程spring-kafka

实际上spring-kafka封装了kafka-clients函数
spring-kafka开发的简单初级案例
kafka学习（五）Spring Boot 整合 kafka - 有梦想的肥宅 - 博客园
 SpringBoot实战(十四)之整合KafKa - 挑战者V - 博客园
spring-kafka深入理解
彻底搞定 SpringBoot 整合 Kafka（spring-kafka深入探秘）_springboot kafka 封装-优快云博客

主要引入依赖如下：

<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>

开发编程kafka-clients

开发文章
Apache Kafka 编程实战-java客户端开发例子（入门教程轻松学）_在java中实际用kafka案例-优快云博客

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.0.0</version>
</dependency>

Kafka-clients有以下四个核心API：
Producer
Consumer
Streams
Connect

开发编程multiThread

kafka读取和写入详细技术，好文章++
Kafka生产者-向Kafka中写入数据 - sodawoods - 博客园
 Kafka消费者-从Kafka读取数据 - sodawoods - 博客园

单线程生产者kafka会很慢,需要改造成多线程
kafka producer线程与吞吐量-优快云博客
 kafka producer实例池实现生产者多线程写入_kafkaproducerutil-优快云博客

spring-kafka多线程消费
GitHub - makerlee/spring-kafka-demo: spring-kakfa 多线程消费代码提交
 GitHub - hbzhangwenjie/kafkaConsumePool-spring-boot-starter: 扩展KafkaListener注解，收到的消息使用线程池处理
 GitHub - TechPrimers/spring-boot-kafka-consumer-example: Spring Boot Kafka Consumer Example
GitHub - dilipsundarraj1/kafka-for-developers-using-spring-boot: This repository has the complete code related to kafka producers/consumers using spring boot.
GitHub - henrypfhu/kclient: KClient是一个简单易用，有效集成，高性能，高稳定的Kafka Java客户端。
spring boot集成kafka之spring-kafka深入探秘_org.springframework.kafka:spring-kafka-优快云博客

开发，这篇文章中有配置类参考：
spring-kafka在springboot项目中的使用样例 - 深入一点,你会更加快乐 - ITeye博客

配置
public class SampleConfiguration
生产
public Map<String, Object> producerConfiguration() 
消费
public ConcurrentKafkaListenerContainerFactory<String, EventRecord> sampleListenerContainerFactory()
发送服务
public class SampleService
接收服务
public class SampleMessageListener

兼容性说明
Compatibility Matrix - Apache Kafka - Apache Software Foundation
Spring for Apache Kafka

kafka-spring：
 1）spring 4.3.8+ （spring 4，springboot 1.5.x）：
   > spring-kafka：1.3.5+（只兼容1.3.x版本）
   > kafka-client：0.11.0.2+、1.0.x
 2）spring 5.x （spring 5，springboot 2.x）
   > spring-kafka：2.0.x，兼容kafka-client 0.11.0.x、1.0.x
   > spring-kafka：2.1.x+，兼容kafkaclient 1.x+

较低版本的spring与高版本的spring-kafka集成时会出现API不兼容问题，此外kakfa-client与kafka broker不兼容时也会出现运行时异常。所以在版本上尽量保持对应；此外，我们已知，在kafka 0.10.2之后，客户端和broker的兼容能力有一定的准则，即较高版本的kakfa client可以访问较低版本的broker。

开发，这篇文章有多线程/线程池kafka消费：
spring-kafka多线程顺序消费_spring kafka多线程消费-优快云博客
开发，kafka多线程消费模式说明：
正确处理kafka多线程消费的姿势【转】 - 象牙酥 - 博客园
Springcloud Stream详解与kafka整合实例
Springcloud Stream详解与kafka整合实例_spring cloud stream kafka-优快云博客
kafka多线程写入案例
Kafka多线程写入案例（清澈有效）_java高并发写入kafka,资源耗尽-优快云博客

kafka多线程：
有代码示例++
【原创】Kafka Consumer多线程实例 - huxihx - 博客园
有kafkaProducer和kafkaConsumer线程图例说明。

原生api多线程封装
spring boot 集成kafka (多线程,消费者使用kafka的原生api实现,因为@KakfkaListener修改groupId无效) - Enast - 博客园 ++
【弄nèng - Kafka】应用篇（十一） —— Java Kafka API（多线程生产者）_kafka 生产者可以多线程写吗-优快云博客

四天教程kafka详解
史上最差的kafka教程第一天 - 慧剑仙 - 博客园

kafak教程4天
史上最差的kafka教程第一天 - 慧剑仙 - 博客园
Kafka Connect和Kafka Stream的使用场景
https://www.zhihu.com/question/64737250
kafka-connect是与其它数据存储组建的导入导出。
kafka-stream是数据处理，类似spark streaming。
spring-kafka集成特性：
Spring集成Kafka之spring-kafka_springkafkautil-优快云博客
不重复消费kafka
spring kafka使用_spring-kafka 使用指定的 kafka-clients-优快云博客
配置方式的spring-kafka
Springboot中使用kafka - 青取之于蓝 - 博客园
 Spring Kafka 2.x 生产/消费消息的基本用法详解 | zifangsky的个人博客
 Spring和kafka结合使用教程 - 简书
最强spring-kafka
Spring-Kafka史上最强入门教程_spring kaffka的使用-优快云博客
kafka原理和实践非常好!!!
kafka原理和实践（五）spring-kafka配置详解 - 只会一点java - 博客园