Kafka入门

最新推荐文章于 2023-10-30 16:32:12 发布

柠檬丶Ewing

最新推荐文章于 2023-10-30 16:32:12 发布

阅读量581

点赞数

分类专栏：消息中间件文章标签： kafka

本文链接：https://blog.youkuaiyun.com/yygEwing/article/details/103277368

版权

消息中间件专栏收录该内容

7 篇文章

订阅专栏

Kafka重要概念
Kafka核心API
Kafka使用场景

1 Kafka重要概念

主流MQ对比
主要功能
相关概念

1.1 主流MQ对比

	ActiveMQ	RabbitMQ	Kafka
所属社区	Apache	Mozilla Public License	Apache/LinkedIn
开发语言	Java	Erlang	Scala
支持的协议	OpenWire、STOMP、REST、AMQP、XMPP	AMQP	仿AMQP
事务	支持	不支持	0.11开始支持
集群	支持	支持	支持
负载均衡	支持	支持	支持
动态扩容	不支持	不支持	支持(zk)

1.2 主要功能

Apache Kafka是一个分布式流处理平台，流处理平台特性如下：

可以发布和订阅流式的记录，这一方面与消息队列或者企业消息系统类似
可以储存流式的记录，并且有较好的容错性
可以在流式记录产生时就进行处理

1.3 相关概念

kafka作为一个集群运行在一个或多个服务器上
kafka通过topic对存储的流数据进行分类
每条记录中包含一个key，一个value和一个timestamp（时间戳）

AMQP（Advanced Message Queuing Protocol）是一个提供统一消息服务的标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件而设计。

AMQP服务器端（Broker）：用来接收生产者发送的消息并将这些消息路由给服务器中的队列

消费者（Consumer）：从消息队列中请求消息的客户端应用程序

如果所有消费者实例在同一消费组中，消息记录会负载均衡到每一个消费者实例。
如果所有的消费者实例在不同的消费组中，每条消息记录会广播到所有的消费者进程。

在这里插入图片描述

生产者（Producer）：向broker发布消息的客户端应用程序，往某个Topic上发布消息，生产者也负责选择发布到Topic上的哪一个分区，开发者负责选择分区的算法。

数据主题（Topic）：数据记录发布的地方，可以用来区分业务系统。kafka中的topics总是多订阅者模式，一个topic可以拥有一个或者多个消费者来订阅它的数据。

分区（Partition）
在这里插入图片描述

2 Kafka核心API

四个核心API
API-producer
API-consumer
kafka整体架构

2.1 四个核心API

Producer API
- 允许一个应用程序发布一串流式的数据到一个或者多个Kafka topic
Consumer API
- 允许一个应用程序订阅一个或多个topic，并且对发布给他们的流式数据进行处理
Streams API
- 允许一个应用程序作为一个流处理器，消费一个或者多个topic产生的输入流，然后生产一个输出流到一个或多个topic中去，在输入输出流中进行有效的转换。
Connector API
- 允许构建并运行可重用的生产者或者消费者，将Kafka topics连接到已存在的应用程序或者数据系统。比如，连接到一个关系型数据库，捕捉表的所有变更内容。

2.2 API-producer

Properties props = new Properties();
props.put("batch.size", 16384);
props.put("lingers.ms", 16384);
props.put("acks", "all");
props.put("retries", 1);

Producer<String, String> producer = new KafkaProducer(props);
ProducerRecord<String, String> record = new ProducerRecord<String, String>("my-topic", "key", "value");
producer.send(record);
producer.close();