笔记-Kafka

特性

高吞吐、低延迟、高伸缩性、持久性、可靠性、容错性、高并发

安装

先起送zookeeper、后启动kafka
config/server.properties

创建Topic

sh bin/kafka-topic.sh --create --zookeeper localhost:2181 --replcation-factor 1 --topic mytest

Kafka架构

  • Broker:代表一个Kafka服务
  • Producer:生产者
  • Consumer:消费者
  • Message:向Broker发送消息,也称Record
  • Topic:topic和生产者或消费者之间是多对多关系,Topic可以指定分区数量
  • Partition:分区
  • Replica:集群部署,对Partition做副本,Leader / Follower 选举
  • ConsumerGroup:消费者组

java-api

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.3.0</version>
</dependency>

kafka-spring

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>2.9.1</version>
</dependency>
在Flink 1.12版本中,新增了一个upsert connector,即upsert-kafka connector。这个connector是在现有的Kafka connector的基础上进行扩展的,它可以在upsert模式下工作。新的upsert-kafka connector不仅可以作为source应用,也可以作为sink应用,同时提供了与现有kafka connector相似的基本功能和持久性保证。这意味着它可以用来读取compact topic或者输出聚合结果,并根据Kafka消息记录的key来确定是插入、删除还是更新记录的处理方式。如果你想了解更多关于upsert-kafka connector的信息,可以参考Apache Flink 1.12 Documentation: Upsert Kafka SQL Connector实时数仓和以upsert的方式读写Kafka数据的文章。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [flink sql clinet 实战:upsert kafka connector -- flink-1.12](https://blog.youkuaiyun.com/wuxintdrh/article/details/127434263)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Flink1.12 Kafka Upsert 笔记](https://blog.youkuaiyun.com/u010834071/article/details/113057879)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值