自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

MaxineZhou的博客

博客等级

码龄8年

99
原创

132
点赞

612
收藏

34
粉丝

关注

私信

热门文章

分类专栏

最新评论

绝对定位的设置
MaxineZhou: ####### 2.4 Consumer - **消息消费**：消费者通过 Name Server 获取 Broker 的路由信息，从 Broker 中订阅并消费消息。 - **消费模式**：RocketMQ 支持两种消费模式： - **集群模式**：多个消费者共享一个消息队列，每个消息只会被一个消费者消费。 - **广播模式**：每个消费者都会收到所有的消息。 ##### 3. 消息传递机制 ####### 3.1 生产者发送消息 1. **获取路由信息**：生产者通过 Name Server 获取 Broker 的路由信息。 2. **选择 Broker**：生产者根据负载均衡策略选择一个 Broker。 3. **发送消息**：生产者将消息发送到指定的 Broker。 4. **消息存储**：Broker 接收到消息后，将其存储到消息队列中，并维护消息的索引信息。 ##### 3.2 消费者消费消息 1. **订阅主题**：消费者通过 Name Server 订阅一个或多个主题。 2. **拉取消息**：消费者从 Broker 中拉取消息。RocketMQ 采用拉取模式，消费者定期从 Broker 中拉取消息。 3. **消息处理**：消费者接收到消息后，进行业务处理。 4. **确认消费**：消费者向 Broker 发送消费确认，Broker 标记该消息为已消费。 ##### 4. 消息模型 ####### 4.1 发布/订阅模式 - **发布者**：生产者将消息发布到一个或多个主题。 - **订阅者**：消费者订阅一个或多个主题，从 Broker 中接收消息。 ###### 4.2 点对点模式 - **生产者**：生产者将消息发送到一个特定的消息队列。 - **消费者**：消费者从该队列中接收消息，每个消息只会被一个消费者消费。 ###### 5. 高可用性与可靠性 - **消息持久化**：Broker 通过文件系统将消息持久化到磁盘，确保消息不会因服务器重启而丢失。 - **消息复制**：Broker 可以配置为主从模式，主 Broker 将消息同步到从 Broker，实现数据的冗余备份。 - **故障转移**：当主 Broker 发生故障时，从 Broker 可以接管消息的存储和转发，确保系统的高可用性。
绝对定位的设置
MaxineZhou: #### 9.kafka如何保证有序消费？主题和分区，生产者使用分区策略使每个分区中的消息是有序的，消费者使每个分区在同一时间只能被一个消费者消费，并记录偏移量 #### 10.kafka如何保证高吞吐量？批量发送，分区多个Broker同时消费，异步刷盘 #### 11.为什么使用MQ？解耦，削峰，异步 #### 12.mq的选型：kafka，rabbit mq，rocket mq kafka：吞吐量更高 rocket mq:更适合分布式 #### 13.rocket mq的作用原理？ RocketMQ 是一款由阿里巴巴开源的分布式消息中间件，广泛应用于高并发、大流量的业务场景中。它支持多种消息类型和消息模型，具有高吞吐量、低延迟和高可用性等优点。下面我将逐步介绍 RocketMQ 的作用原理，包括其架构、消息传递机制和主要组件等。 ##### 1. RocketMQ 的架构 RocketMQ 采用的是发布/订阅模式和点对点模式，主要由以下几个组件构成： - **Producer（生产者）**：负责发送消息到消息队列。 - **Broker（消息服务器）**：负责存储消息和转发消息。 - **Consumer（消费者）**：负责从消息队列中接收并处理消息。 - **Name Server（名称服务器）**：负责管理 Broker 的路由信息，提供路由查询服务。 ##### 2. 主要组件的作用 ###### 2.1 Name Server - **路由管理**：Name Server 维护了 Broker 的路由信息，包括各 Broker 的 IP 地址、端口等信息。 - **负载均衡**：Name Server 通过轮询等方式，将生产者和消费者的请求分发到各个 Broker 上。 ####### 2.2 Broker - **消息存储**：Broker 负责存储来自生产者的消息，并将消息转发给消费者。 - **消息索引**：为了提高消息查询效率，Broker 会维护消息的索引信息，包括时间戳、主题、标签等。 - **消息持久化**：Broker 通过文件系统将消息持久化到磁盘，确保消息不会因服务器重启而丢失。 ####### 2.3 Producer - **消息发送**：生产者通过 Name Server 获取 Broker 的路由信息，将消息发送到指定的
绝对定位的设置
MaxineZhou: #### 8.RocketMQ如何防止丢失数据？ 1. 消息存储机制 RocketMQ 使用文件存储机制来持久化消息，主要包括以下几个部分： - **CommitLog**：存储实际的消息内容。 - **ConsumeQueue**：存储消息的索引信息，用于快速定位消息。 2. 写入保证 - **消息写入**：当消息被发送到 Broker 时，消息内容会被写入 CommitLog 文件。RocketMQ 采用追加写的方式，确保每条消息都被顺序写入磁盘。 - **磁盘同步**：RocketMQ 提供了两种磁盘同步策略： - **ASYNC_FLUSH**（异步刷盘）：消息写入内存后，异步刷盘到磁盘。这是默认的配置，提供了较高的性能。 - **SYNC_FLUSH**（同步刷盘）：消息写入内存后，立即同步刷盘到磁盘。这种方式确保了更高的可靠性，但性能相对较低。 3. 重启过程 1. 正常重启： - 当 Broker 正常重启时，系统会确保所有已写入内存的消息都已同步到磁盘。因此，重启过程中不会丢失已经持久化的消息。 - Broker 重启后，会重新加载 CommitLog 和 ConsumeQueue 文件，恢复消息存储状态。 2. 异常重启： - 如果 Broker 异常重启（例如，系统崩溃或突然断电），可能会导致部分尚未同步到磁盘的消息丢失。 - 为了减少这种情况下的数据丢失，可以使用 `SYNC_FLUSH` 策略，虽然会影响性能，但会提高数据的可靠性。 4. 消息重传机制 - **生产者重试**：如果生产者在发送消息时遇到异常，可以配置生产者进行重试。生产者可以设置 `sendMsgTimeout` 和 `retryTimesWhenSendFailed` 等参数来控制重试逻辑。 - **消费者重试**：如果消费者在处理消息时遇到异常，可以返回 `ReconsumeLater` 状态，Broker 会在稍后重新投递该消息。 5. 集群模式 - **主从同步**：在集群模式下，RocketMQ 支持主从同步。主节点将消息同步到从节点，确保数据的高可用性。 - **同步复制**：主节点将消息同步到从节点后，才返回确认。这种模式下，即使主节点发生故障，从节点也可以接管，确保数据不丢失。
绝对定位的设置
MaxineZhou: ### mq #### 1.mq如何确保消息可靠性？（1）生产者丢失消息：开启生产者消息确认机制（2）关掉手动提交偏移量（3）多节点组成集群，实现负载均衡，故障转移（4）消息队列丢失消息：消息持久化，每个队列有多个副本，同步刷盘存储，确保消息在未消费前不会丢失（5）开启失败重试机制（6）使用事务消息机制，保证一致性（7）使用死信队列机制，当消费者在最大重复次数内仍无法消费的消息、或者投递队列满了，就将消息投递给死信交换机、异常交换机，死信队列，最后人工干预处理该消息。 #### 2.消息堆积的原因？（1）正常消费情况，业务高峰期消息量激增（2）异常消费的情况，消费端消费能力太弱，或者消费端崩溃，或者消费端依赖的第三方不可用导致阻塞（3）程序问题，生产者代码中存在死循环内存泄露等问题，导致消息增多（4）消息平台故障或者性能不足（5）网络延迟或中断 #### 3.消息堆积如何解决？当消息过多，导致消息队列满了成为死信就是消息堆积（1）增加消费者的数量（2）提升消费速度，比如异步处理 (3) 消费限流，使生产速度和消费速度匹配 (4) 设置优先级 (5) 扩大消息队列容量 #### 4.重复消费的原因？（1）消费超时导致消息重试、网络问题、生产者未收到ACK消息确认，导致重复发送消息（2）消费者端未提交偏移量，消息被重新拉取（3）生产者端事务消息异常 #### 5.如何避免重复消费消息？ (1)唯一标识，消息id+业务id (2)保证幂等性，如在数据库操作和业务操作的时候利用唯一标识如主键id避免重复操作 (3)消息确认机制 (4)发送事务消息，确保消息发送和业务操作是在一个事务里，如果业务操作失败则不会发送消息 #### 6.rocket mq消费模式有哪些？广播和集群，广播是所有订阅topic的消费者都能消费消息。集群模式是消息只能被集群中的一个消费者消费，可以保证负载均衡，高可用。 #### 7.rocket mq的哪些参数设置保证稳定性和性能？ (1)rocket mq是采取定期从消息服务器拉取的方式消费消息，所以设置线程池大小、拉取大小、消费超时时间可以影响性能 (2)在消息堆积时，可以采取批量消费模式，提高消费速度 (3)设置合理的消息重试机制，避免短时间内大量重试
Java多线程——098线程的生命周期
MaxineZhou: 分布式zookeeper注册和发现：https://blog.51cto.com/u_11142439/6555055

AI

关注

关注数：文章数：3 文章阅读量：11272 文章收藏量：8

作者: MaxineZhou

Don't forget try again

展开

专栏收录文章