Sky_rabbit94的博客

Kafka 从 0.11 版本开始引入了事务支持。事务可以保证 Kafka 在 Exactly Once 语义的基 础上，生产和消费可以跨分区和会话，要么全部成功，要么全部失败 3.6.1 Producer 事务 为了实现跨分区跨会话的事务，需要引入一个全局唯一的 Transaction ID，并将 Producer 获得的 PID 和 Transaction ID 绑定。这样当 Producer 重启后就可以通过正在进行的 Transaction ID 获得原来的 PID。 为了管理 Transac

分区策略 1)分区的原因 (1)方便在集群中扩展，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了; (2)可以提高并发，因为可以以 Partition 为单位读写了。 2)分区的原则 我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。 (1)指明 partition 的情况下，直接将指明的值直接作为 partiton 值; (2)没有指明 par

kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。 topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文 件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己 消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。 ..

1)查看当前服务器中的所有 topic [atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2)创建 topic [atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 -- topic first 选项说明

Java中的消息是基于内存的 消息中间件使用场景： 异步：用户登录的时候，将用户信息写入数据库，发邮件给用户、发短信给用户，需要150ms，改为异步，将信息写入数据库，然后写入消息队列，使用55ms，再从消息队列异步读取发送邮件和短信 削峰：比如秒杀系统，用户请求写入消息队列，然后秒杀业务根据规则读取秒杀请求（前端流量控制） 解耦：比如订单系统和库存系统，每次下订单之后，需要调用库存系统来加减库存，但是订单系统本来穿3个参数，后来改成5个参数，库存系统也需要跟着修改，因此可以放入消息队列中，读取相关