ClickHouse分布式部署搭建单分片二副本集群

已于 2024-12-12 09:55:43 修改
阅读量1.4k 收藏 17
点赞数 12
文章标签： clickhouse 分布式
于 2024-08-26 17:55:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wang20010104/article/details/141569426
版权

搭建单分片二副本集群，使用MergeTree引擎测试数据同步

服务器：

127.0.0.1 clickhouse

127.0.0.2 clickhouse + keeper

结构图

1.修改hosts

vi /etc/hosts

添加需要部署的ip和名字

127.0.0.1 node1
127.0.0.2 node2

2. node1配置文件修改

2.1 修改/etc/clickhouse-server/user.xml
<clickhouse>
    <profiles>
        <!-- Default settings. -->
       <default>
      	<!--默认值为0，表示不启用原子写入；改为与smartbi_replica集群中的副本数相等-->
        	<insert_quorum>2</insert_quorum>
      	<!--默认值为600000毫秒（10分钟）；改为30分钟以防止写入和同步副本超时-->
        	<insert_quorum_timeout>1800000</insert_quorum_timeout>
        </default>
        <!-- Profile that allows only read queries. -->
        <readonly>
            <readonly>1</readonly>
        </readonly>
    </profiles>
</clickhouse>
2.2 修改/etc/clickhouse-server/config.d/metrika.xml
<?xml version="1.0"?>
<yandex>
    <clickhouse_remote_servers>
         <smartbi>
			<!-- 数据分片1  -->
            <shard>
              <!-- 可选的。写入分布式表时是否只将数据写入其中一个副本。默认值:false(将数据写入所有副本)。 -->
                <internal_replication>false</internal_replication>
                <replica>
					<!-- host：数据分片节点，可以写机器名，ip地址。-->
					<host>node1</host>
					<!-- port：消息传递TCP端口，默认9000，不要与http端口混淆 -->
                    <port>9000</port>
					<!-- user：用于连接远程服务器的用户名。默认值：default。该用户必须有权限访问该远程服务器。访问权限配置在 users.xml 文件中。 -->
                    <user>default</user>
					<!-- password：用于连接远程服务器的密码。默认为空，users.xml 文件中配置。 -->
                   <password></password>
                </replica>
                <replica>
                    <host>node2</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </smartbi>
    </clickhouse_remote_servers>

    <!--zookeeper相关配置-->
    <zookeeper-servers>
		<!-- zookeeper节点1-->
        <node index="1">
			<!-- host：zookeeper服务器地址，可以写机器名，ip地址。-->
            <host>node2</host>
			<!-- port：zookeeper服务端口，默认2181。-->
            <port>9181</port>
        </node>
	<!-- 定义用户名和密码，ZooKeeper需要它才能访问请求的zNode，可选项 -->
	<!-- <identity>admin:manager</identity> -->
    </zookeeper-servers>
        <!-- 本节点副本名称，根据节点修改-->
    <macros>
        <replica>node1</replica>
    </macros>
        <!-- 监听网络 -->
    <networks>
        <ip>::/0</ip>
    </networks>
        <!-- 数据压缩算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>
2.3 修改/etc/clickhouse-server/config.xml 
<!-- 当前机器的主机名，根据节点修改，需配置到hosts中 -->
<interserver_http_host>node1</interserver_http_host>

<!-- 开启远程访问 -->
<listen_host>0.0.0.0</listen_host>

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from> 
<!-- 导入metrika.xml的clickhouse_remote_servers -->
<remote_servers incl="clickhouse_remote_servers" />
<!-- 导入metrika.xml的zookeeper-servers -->
<zookeeper incl="zookeeper-servers" optional="true" /> 

<macros incl="macros" optional="true" />

3. node2配置文件修改

3.1 修改/etc/clickhouse-server/user.xml
<clickhouse>
    <profiles>
        <!-- Default settings. -->
       <default>
      	<!--默认值为0，表示不启用原子写入；改为与smartbi_replica集群中的副本数相等-->
        	<insert_quorum>2</insert_quorum>
      	<!--默认值为600000毫秒（10分钟）；改为30分钟以防止写入和同步副本超时-->
        	<insert_quorum_timeout>1800000</insert_quorum_timeout>
        </default>
        <!-- Profile that allows only read queries. -->
        <readonly>
            <readonly>1</readonly>
        </readonly>
    </profiles>
</clickhouse>
3.2 修改/etc/clickhouse-server/config.d/metrika.xml
<?xml version="1.0"?>
<yandex>
    <clickhouse_remote_servers>
         <smartbi>
			<!-- 数据分片1  -->
            <shard>
              <!-- 可选的。写入分布式表时是否只将数据写入其中一个副本。默认值:false(将数据写入所有副本)。 -->
                <internal_replication>false</internal_replication>
                <replica>
					<!-- host：数据分片节点，可以写机器名，ip地址。-->
					<host>node1</host>
					<!-- port：消息传递TCP端口，默认9000，不要与http端口混淆 -->
                    <port>9000</port>
					<!-- user：用于连接远程服务器的用户名。默认值：default。该用户必须有权限访问该远程服务器。访问权限配置在 users.xml 文件中。 -->
                    <user>default</user>
					<!-- password：用于连接远程服务器的密码。默认为空，users.xml 文件中配置。 -->
                   <password></password>
                </replica>
                <replica>
                    <host>node2</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </smartbi>
    </clickhouse_remote_servers>

    <!--zookeeper相关配置-->
    <zookeeper-servers>
		<!-- zookeeper节点1-->
        <node index="1">
			<!-- host：zookeeper服务器地址，可以写机器名，ip地址。-->
            <host>node2</host>
			<!-- port：zookeeper服务端口，默认2181。-->
            <port>9181</port>
        </node>
	<!-- 定义用户名和密码，ZooKeeper需要它才能访问请求的zNode，可选项 -->
	<!-- <identity>admin:manager</identity> -->
    </zookeeper-servers>
        <!-- 本节点副本名称，根据节点修改-->
    <macros>
        <replica>node2</replica>
    </macros>
        <!-- 监听网络 -->
    <networks>
        <ip>::/0</ip>
    </networks>
        <!-- 数据压缩算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>
3.3 修改/etc/clickhouse-server/config.xml 
<!-- 当前机器的主机名，根据节点修改，需配置到hosts中 -->
<interserver_http_host>node2</interserver_http_host>

<!-- 开启远程访问 -->
<listen_host>0.0.0.0</listen_host>

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from> 

<remote_servers incl="clickhouse_remote_servers" />
<!-- 自己有配置无需从外面导入 -->
<!-- <zookeeper incl="zookeeper-servers" optional="true" /> -->

<macros incl="macros" optional="true" />

<!-- 只在需要启动clickhouse-keeper的节点上使用此配置,根据节点修改 -->
<keeper_server>
    <!-- keeper服务的端口 -->
    <tcp_port>9181</tcp_port>
    <!-- keeper服务的server_id，根据节点修改 -->
    <server_id>1</server_id>
    <!-- keeper服务的日志存储路径，可以自行指定，此目录需要配置clickhouse用户的读写权限。 -->
    <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
    <!-- keeper服务的快照存储路径，可以自行指定，此目录需要配置clickhouse用户的读写权限。 -->
    <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
         
    <!-- keeper服务的其他参数信息，保持默认即可 -->
    <coordination_settings>
        <operation_timeout_ms>10000</operation_timeout_ms>
        <session_timeout_ms>30000</session_timeout_ms>
        <raft_logs_level>trace</raft_logs_level>
    </coordination_settings>
 
    <raft_configuration>
        <!-- keeper服务节点配置信息 -->
        <server>
            <id>1</id>
            <hostname>node2</hostname>
            <port>9444</port>
        </server>
    </raft_configuration>
</keeper_server>

<!-- keeper配置标签起始点 -->
<zookeeper>
  <!-- keeper节点1配置 -->
  <node>
    <host>node2</host>
    <port>9181</port>
  </node>
</zookeeper>

4.创建MergeTree引擎本地表和分布式表，测试副本间数据同步情况

1. 在任意节点执行sql创建本地表：

create table smp_local ON CLUSTER smartbi 
(ID Int8,  
Name String, 
BirthDate Date 
) ENGINE = MergeTree() 
PARTITION BY toYYYYMMDD(BirthDate)  ORDER BY (Name, BirthDate) SETTINGS index_granularity = 8192;

  • 可以看到同分片的所有副本都有了新建的本地表

  • 上面sql中的 smartbi 为集群名，定义在配置文件中

2. 在任意节点执行sql创建分布式表：

CREATE TABLE smp_all ON CLUSTER smartbi (ID Int8,  \
Name String, \ 
BirthDate Date \
) ENGINE = Distributed(smartbi, smp, smp_local, rand());

  • 可以看到同分片的所有副本都有了新建的分布式表

  • 上面sql中的参数： Distributed(集群名, 数据库名, 本地表名, 分片方式);

 3. 插入数据，测试副本间同步情况\

  • 在node1节点插入数据到本地表

insert into smp_local (ID,Name,BirthDate)values(1,'zhangsan','2001-10-12');
insert into smp_local (ID,Name,BirthDate)values(2,'lisi','2002-11-13');

查询node1本地表，可以看到存在新增的两条数据

查询node1分布式表，可以看到存在新增的两条数据

查询node2分布式表和本地表，发现不存在新增的两条数据

结论：直接将数据插入到某一节点的本地表，数据不会同步到其他副本

  • 在node1节点插入数据到分布式表

insert into smp_all (ID,Name,BirthDate)values(4,'zhaoliu','2004-09-02');
insert into smp_all (ID,Name,BirthDate)values(5,'tianqi','2005-08-22');

查询node1本地表，可以看到存在新增的两条数据

查询node1分布式表，可以看到存在新增的两条数据

查询node2分布式表和本地表，可以看到存在新增的两条数据

结论：将数据插入到任意节点的分布式表，数据会同步到其他副本

5. 模拟某一节点宕机后数据同步情况

  • 在node1节点关闭clickhouse： sudo service clickhouse-server stop

  • 在node1关闭期间，在node2节点往分布式表中插入数据

  • 启动node1节点clickhouse，查看node1本地表和分布式表，发现宕机期间在node2节点插入的数据都存在

  • 结论：某一节点宕机一段时间后再恢复，增量数据会同步到宕机节点

补充

启动clickhouse 

sudo service clickhouse-server start 

停止clickhouse 

sudo service clickhouse-server stop

重启clickhouse 

sudo service clickhouse-server restart

登录clickhouse

clickhouse-client --host=127.0.0.1 --port=9000 --user=default --password=xxxx

查看ClickHouse Keeper 是否启动

echo mntr | nc localhost 9181

【clickhouse】clickhouse 副本与分片 分片详解
九师兄
02-07 6961
1.概述 转载：【clickhouse】clickhouse 副本与分片 分片详解 clickhouse 中每个服务器节点都可以被称为一个 shard（分片）。 假设有 N 台服务器，每个服务器上都有一张数据表 A，且每个服务器上的 数据表 A 的数据不重复，那么就可以说数据表 A 拥有 N 的分片。 对于一个完整的方案来说，还要考虑在数据写入时如何被均匀低写到各个分片中，以及数据在查询时如何路由到每个分片，组合成结果集。 clickhouse 的数据分片需要结合 DIstributed 表引擎一起使用。.
部署clickhouse集群2分片1副本
打卤的博客
11-19 609
先安装zookeeper集群。 安装简单理解配置需要仔细研究 4个节点每2主副本为一组分片 直接yum安装先安单机逐个安装 yum install yum-utils -y rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPG yum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64 yum install clickhouse-server cli
ClickHouse-集群部署以及副本和分片
clearlxj的博客
12-07 3833
副本 副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。 https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/ 副本只支持合并数家族，支持的引擎如下： 副本写入流程 clickhouse集群没有主从之分 配置步骤 (1)启动 zookeeper 集群 (2)在 hadoop113 的/etc/clickhouse-server
clickhouse（一）两分片两副本集群搭建
Interest1_wyt的博客
08-08 4348
最近工作中遇到了clickhouse副本存储的问题，所以准备搭建一套clickhouse集群研究下，这里将搭建的过程和遇到的坑记录下，便于以后使用。 1、准备三台虚拟机，分别安装clickhouse的服务端和客户端 这里的安装过程是纯粹拷贝的官网命令，首先验证虚拟机是否支持clickhouse的安装： grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supporte...
详解 ClickHouse 的分片集群
weixin_44480009的博客
06-22 2920
分片功能依赖于 Distributed 表引擎，Distributed 表引擎本身不存储数据，有点类似于 MyCat 之于 MySql，成为一种中间件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据ClickHouse 进行分片集群的目的是解决数据的横向扩容，通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过 Distributed 表引擎把数据拼接起来一同使用。
Clickhouse高可用集群版三节点两副本部署
09-19 2547
集群版多副本部署，高权限用户追加
clickhouse集群搭建（3分片2副本）
leejunokokok的专栏
05-31 4580
集群名称 分片 副本 IP地址 端口 用户 cluster_3shards_2replicas 1 1 10.1.48.12 9000 default cluster_3shards_2replicas 1 ...
ClickHouse合集(一):分布式集群部署及python调用
专注大数据与自由
04-04 4203
0.ClickHouse 参考资料 : Clickhouse 在腾讯的应用实践 : http://www.yidianzixun.com/article/0NaOwJjF?appid=mibrowser 0.基础概念 0.0.概述 俄罗斯 Yandex 2016 开源 列式存储数据库 DBMS 0.1.应用场景 在线分析处理查询OLAP – 使用SQL实时生成分析数据报告 0.2.适用场景 只有几...
ClickHouse集群环境下的分布式建库建表，基本数据操作数据，自定义文件格式数据导入
whiteBearClimb的博客
12-11 6582
万丈高楼平地起，经过前几篇的学习折磨，默认都是已经搭建起ClickHouse集群环境的了，现在这篇文件是简单介绍基本使用。 注意ClickHouse的分布式，也摆脱不了CAP的束缚，所以数据写入都是异步的，做数据同步都是先写入本地磁盘，再同步到其他分片区，yum安装方式的可以在/var/lib/clickhouse/data/database/table/查看ClickHouse的数据是否同步完成。 （1）分布式建库： 其实也就是在集群中建库，让所有节点都同步创建：create database jojo_
clickhouse集群搭建
anyitian的博客
04-01 1025
文章目录安装clickhouse修改集群配置文件启动clickhouse集群测试集群的可用性 安装clickhouse 本次用了4台服务器搭建clickhouse集群，使用rpm安装方式在4台服务器上安装clickhouse，步骤如下： sudo yum install -y curl curl ­-s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash sudo yum in
ClickHouse单机+集群部署。
现在你写的以后就变成了你的野心
03-30 768
Clickhouse集群搭建Clickhouse集群搭建（rpm）搭建前准备开始安装添加clickhouse源查一下clickhouse源有没有添加成功安装servier和client检查是否安装成功通过 clickhouse service 来启动,停止,clickhouse启动服务使用客户端退出客户端配置 config.xml每台节点启动完成了查看是否启动如过启动失败可以去查看log ,log位置启动完成后我们进入client ,说明成功了 Clickhouse集群搭建（rpm） 搭建前准备 配置好防
clickhouse 集群安装以及要点
weixin_45417821的博客
08-20 534
文章目录分片集群分片 2 副本共 6 个节点集群配置（供参考）配置三节点版本集群及副本集群及副本规划（2 个分片，只有第一个分片有副本）配置步骤1）在 Bigdata04的/etc/clickhouse-server/config.d 目录下创建 metrika-shard.xml 文件2）将 Bigdata04的 metrika-shard.xml 同步到 Bigdata05 和 Bigdata063）修改 Bigdata05 和 Bigdata06 中 metrika-shard.xml 宏的配置 分片
ClickHouse入门：多副本集群配置
高矮
05-08 3405
前言 插件及服务器版本 服务器：ubuntu 16.04 ClickHouse：21.4.6.55 简介 配置一个单Shard、3副本的ClickHouse集群，并验证测试 服务器准备 3台ubuntu 16.04的服务器： 192.168.10.17 192.168.10.10 192.168.10.16 安装ClickHouse 3台服务器均安装ClickHouse: sudo apt-get install apt-transport-https ca-certificates dirmngr s.
Clickhouse笔记（二） 集群搭建
alfiy的专栏
10-24 2591
如果在clickhouse的配置中，使用了域名配置而不是IP地址，除非你的域名真实存在，否则需要修改本机的hosts文件。注意，ClickHouse 要求每个分片的每个副本必须配置在单独的实例上，也就是说在整个集群范围内，一共有多少个副本，就需要创建多少个 ClickHouse 实例。🖊 1 对应node1 2对应node23对应node3。文件的标签中添加以下内容。
ClickHouse创建分布式表
weixin_46124208的博客
03-24 4591
clickhouse集群主要有两个作用,一是数据副本,也就是将数据冗余到另外的机器上，用于保证高可用；二是分布表，就是将一个表的数据分散到多个节点上保存，然后再通过Distributed表引擎将数据拼接起来作为一个完整的表使用。 创建分布式表： 1.查看clickhouse 默认的集群配置 SELECT * from `system`.clusters 随便拿一个cluster 的值测试 2. 创建本地表 CREATE TABLE default.test_list_local on clust
clickhouse集群详细部署流程
yujianbujianqwe的博客
08-07 5950
shard>，分片配置，一个 ClickHouse 集群可以分多个分片，每个分片可以存储数据，这里分片可以理解为 ClickHouse 机器中的每个节点，1个分片只能对应1个服务节点。如下图，假设ClickHouse的N个节点组成了一个集群，在集群的各个节点上，都有一张结构相同的数据表Y。如果它们的数据完全相同，则它们互为副本（红色部分）。大约在配置文件的1037行，<shard>表示分片号，因为集群就一个分片，所以3个节点的分片号都是01，<replica>表示副本名称，三个节点的副本名称不能一样。
ClickHouse 分片与副本
stable_zl的博客
09-21 1195
本文介绍了ClickHouse的分片和副本机制
clickhouse2分片2副本高可用集群搭建及chproxy代理配置使用
shy_snow的专栏
06-02 2648
clickhouse集群是表级别的，在节点层面上clickhouse每个节点都是独立的, 即使组成集群了也是独立的，所以永远只能连接到clickhouse的单节点上。可以类比redis，有点像是积木，可以按配置文件随意组装。只要各节点上安装clickhouse单机之后再配置config.xml和/etc/metrika.xml将其他节点的连接信息以及分片和副本情况配置好就可以了。
安装文档ClickHouse及其副本配置
OMgAg的博客
09-20 617
vi /etc/hostname vi /etc/hosts ``` 119.45.9.98 node1 119.45.241.201 node2 146.56.251.7 node3 ``` 免密 ``` ssh-keygen -t rsa ssh-copy-id node1 ``` xsync chmod a+x ：yum -y install rsync ```shell #!/bin/bash #1 获 取输入参数个数，如果没有参数，直接退出 pcount=$# if(
rocketmq是什么
最新发布
02-28
<think>嗯，用户之前让我对比Redis和MySQL，现在又问我RocketMQ是什么。看起来他们可能是在学习或工作中需要了解不同的技术组件，尤其是消息队列。用户可能已经对数据库和缓存有了一定的了解，现在想扩展到消息队列，特别是RocketMQ。我需要先确定RocketMQ的核心概念，然后解释它的用途、架构以及适用场景。 首先，RocketMQ是阿里开源的分布式消息中间件，属于消息队列系统。用户可能想知道它的基本功能，比如消息的发送、存储和消费。需要和之前提到的Redis对比，可能Redis也有消息队列的功能，但RocketMQ更专业。 接下来，用户可能关心RocketMQ的主要特点，比如高吞吐量、高可用性、可靠性、顺序消息、事务消息等。需要详细说明这些特性，以及它们在实际应用中的优势。比如，事务消息可以用于分布式事务场景，确保数据一致性。 然后，架构部分，RocketMQ由NameServer、Broker、Producer、Consumer组成。NameServer负责服务发现，Broker存储消息，Producer发送消息，Consumer消费消息。需要解释每个组件的作用和它们之间的协作流程，可能用流程图或示意图帮助理解。 适用场景也很重要，用户可能想知道什么时候应该选择RocketMQ而不是其他消息队列，比如Kafka或RabbitMQ。需要比较它们的差异，比如RocketMQ在事务消息和顺序消息方面的优势，适合电商、金融等需要高可靠性的场景。 另外，用户可能对RocketMQ的部署和运维感兴趣，比如集群搭建、监控、故障处理等。可能需要简要提及，但不用太深入，除非用户有进一步的问题。 还要注意用户的技术背景，可能不是特别深入，所以需要用通俗易懂的语言，避免过多专业术语。同时结合之前的Redis和MySQL对比，说明消息队列在系统架构中的位置和作用，比如解耦、异步处理、流量削峰等。 最后，是否需要给出一些实际的使用示例或者最佳实践？比如如何用RocketMQ处理订单创建和库存扣减的异步流程，或者如何保证消息不丢失。这些例子能帮助用户更好地理解理论概念。 总之，回答需要结构清晰，先定义RocketMQ，再讲解核心特性、架构、应用场景，对比其他技术，最后可能给出使用建议。确保内容准确，同时易于理解。</think>### **RocketMQ 核心解析** #### **1. 定义与定位** - **本质**：阿里巴巴开源的**分布式消息中间件**（2012年开源，2017年成为Apache顶级项目） - **核心能力**：实现系统间**异步解耦**、**流量削峰**、**数据顺序性保障** - **对标产品**：Kafka、RabbitMQ（但设计更贴合互联网业务场景） --- #### **2. 核心特性** | **特性** | **说明** | |------------------|-------------------------------------------------------------------------| | **高吞吐** | 单机支持10万+ TPS，集群可扩展至百万级（通过**多副本分片**实现） | | **严格顺序** | 同一队列（MessageQueue）内消息顺序存储与消费（适用于订单状态流转等场景）| | **事务消息** | 支持**分布式事务**（两阶段提交），保障业务与消息发送的一致性 | | **延时消息** | 支持消息定时投递（精度：秒级），如30分钟后关闭未支付订单 | | **消息回溯** | 可重新消费指定时间点的历史消息（排查问题或修复数据） | | **高可用** | 基于**主从架构**+**Dledger选举协议**，实现故障自动切换（99.95% SLA） | --- #### **3. 核心架构** ```mermaid graph TB Producer[生产者] -->|发送消息| Broker[(Broker集群)] Consumer[消费者] -->|拉取消息| Broker NameServer[NameServer集群] -->|注册与发现| Broker NameServer -->|获取路由信息| Producer NameServer -->|获取路由信息| Consumer subgraph Broker内部结构 BrokerMaster[Master节点] -->|同步数据| BrokerSlave[Slave节点] CommitLog[(CommitLog)] --> 存储原始消息 ConsumeQueue[ConsumeQueue] --> 消息逻辑队列索引 IndexFile[(IndexFile)] --> 消息关键词索引 end ``` ##### **关键组件** 1. **NameServer** - 轻量级服务发现组件（无状态） - 维护Topic与Broker的映射关系（类似Kafka的ZooKeeper，但更轻量） 2. **Broker** - 消息存储与转发核心节点 - 数据持久化到磁盘（CommitLog顺序写，性能优化关键） 3. **Producer/Consumer** - 生产者支持多种发送模式（同步、异步、单向） - 消费者支持集群消费（负载均衡）和广播消费模式 --- #### **4. 典型应用场景** 1. **电商订单系统** - **场景**：用户下单 → 发送订单消息 → 异步触发库存扣减、物流调度、支付通知 - **优势**：通过**削峰填谷**应对秒杀活动的高并发写入，MySQL仅处理最终持久化 2. **金融交易对账** - **场景**：支付成功消息 → RocketMQ → 对账系统消费（保证**严格顺序**，避免金额错乱） 3. **物联网数据采集** - **场景**：百万级设备上报数据 → RocketMQ缓冲 → 批量写入HBase/ClickHouse - **优势**：高吞吐支撑突发流量，避免直接压垮存储系统 4. **分布式事务** - **示例**： ```java // 事务消息伪代码 TransactionMQProducer producer.sendMessageInTransaction(msg, new LocalTransactionExecutor() { @Override public LocalTransactionState execute(Message msg) { // 1.执行本地业务（如扣减库存） if (inventoryService.reduceStock()) { return LocalTransactionState.COMMIT; // 提交消息 } else { return LocalTransactionState.ROLLBACK; // 回滚消息 } } }); ``` --- #### **5. 性能优化设计** - **写入优化** - **顺序写盘**：所有消息追加到CommitLog（避免磁盘随机I/O） - **页缓存加速**：利用Linux PageCache提升读写效率（避免JVM GC影响） - **读取优化** - **零拷贝技术**：通过`mmap`或`sendfile`减少数据拷贝次数 - **消费队列分片**：单个Topic拆分为多个MessageQueue，并行消费 --- #### **6. 与Kafka关键差异** | **维度** | **RocketMQ** | **Kafka** | |----------------|---------------------------------------|------------------------------------| | **消息延迟** | 毫秒级（支持更多实时场景） | 毫秒级（两者相当） | | **事务消息** | 原生支持 | 依赖Kafka Streams或外部协调 | | **消息回溯** | 按时间戳精确回溯 | 仅支持Offset回溯（需自行维护时间映射）| | **运维复杂度** | 自带控制台（可视化监控） | 依赖第三方工具（如Kafka Manager） | | **适用场景** | 业务消息（电商、金融） | 日志流处理（大数据场景） | --- #### **7. 学习与实践建议** 1. **快速体验** ```bash # 单机部署 wget https://archive.apache.org/dist/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip unzip rocketmq-all-4.9.4-bin-release.zip nohup bin/mqnamesrv & # 启动NameServer nohup bin/mqbroker -n localhost:9876 & # 启动Broker ``` 2. **生产注意事项** - **集群部署**：至少2主2从（跨机房容灾） - **监控指标**：关注堆积量（ConsumerOffset滞后）、Broker磁盘水位 - **容灾演练**：定期模拟主节点宕机，验证自动切换是否正常 --- **总结**：RocketMQ是支撑互联网高并发场景的“消息高速公路”，其**顺序消息**和**事务消息**设计尤其适合需要强一致性的业务系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雨会停rain

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值