ClickHouse高可用集群搭建 2分片2副本

最新推荐文章于 2025-09-07 07:22:30 发布

原创

最新推荐文章于 2025-09-07 07:22:30 发布 · 2.6k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#zookeeper #big data

本文详细介绍了如何在两台机器上部署ClickHouse高可用集群，包括安装Zookeeper集群、配置多个实例和zk配置，以及ClickHouse的安装、配置文件修改和集群启动验证。涉及步骤包括下载、解压、配置、服务管理及分布式表的创建。

ClickHouse高可用集群搭建

部署安装

部署安装

本人是基于以下机器

在这里插入图片描述

一、先安装zookeeper集群

因资源有限，在2台机器上部署3个zk实例，一台1个实例，另一台2个zk实例。

1、下载压缩包

官网下载：https://zookeeper.apache.org/releases.html

2、解压

数据盘安装

cd /data;
#创建目录
mkdir zookeeper
#上传压缩包
rz 
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz

3、解压后的目录

在这里插入图片描述

4、配置

cd conf;
cp zoo_sample.cfg zoo.cfg;
vim zoo.cfg;

指定路径
dataDir=/data/zookeeper/apache-zookeeper-3.7.0-bin/data
dataLogDir=/data/zookeeper/apache-zookeeper-3.7.0-bin/log
本人配置的3个实例clientPort依次是2182/2182/2183

zoo.cfg:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/apache-zookeeper-3.7.0-bin/data
dataLogDir=/data/zookeeper/apache-zookeeper-3.7.0-bin/log
clientPort=2181
maxClientCnxns=600
maxSessionTimeout=120000
minSessionTimeout=30000
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
server.1=ip1:2887:3887
server.2=ip2.24.11:2888:3888
server.3=ip:2889:3889

创建myid文件

cd /data/zookeeper/apache-zookeeper-3.7.0-bin/data;
touch myid;
#添加内容为zoo.cfg最下面实例机器序号如server.1
vim myid;添加1

5、几个命令

#启动zk
sh bin/zkServer.sh start
#查看状态
sh bin/zkServer.sh status
#停止
sh bin/zkServer.sh stop
#客户端登陆
sh bin/zkCli.sh -server 127.0.0.1:2181 
 #强制杀进程
 fuser -v -n tcp 2181
 kill -s 9 pid

二、clickhouse集群安装

2台机器部署4个ch实例，2分片2副本
架构图：

在这里插入图片描述

hosts设置hostname
ip1 node01
ip2 node02

1、下载安装包

直接看官网 https://clickhouse.com/#quick-start

sudo yum install yum-utils
sudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/clickhouse.repo
sudo yum install clickhouse-server clickhouse-client

sudo /etc/init.d/clickhouse-server start
clickhouse-client

2、修改配置文件

cd /etc/clickhouse-server/

我这边是2个clickhouse实例，一个端口号9000，一个9001

config.xml

源文件中很多注释，已被我删掉，可以直接拷贝下面的进行修改

<?xml version="1.0"?>
<yandex>
    <logger>
        <level>trace</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>200M</size>
        <count>5</count>
    </logger>

    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>

    <mysql_port>9004</mysql_port>

    <postgresql_port>9005</postgresql_port>

    <interserver_http_port>9009</interserver_http_port>
    <interserver_http_host>node01</interserver_http_host>

    <listen_host>0.0.0.0</listen_host>

    <include_from>/etc/clickhouse-server/metrika.xml</include_from>
    <remote_servers incl="clickhouse_remote_servers" optional="true"/>
    <zookeeper incl="zookeeper_servers" optional="true"/>
    <macros incl="macros" optional="true"/>

    <max_connections>4096</max_connections>

    <keep_alive_timeout>3</keep_alive_timeout>
    <database_atomic_delay_before_drop_table_sec>0</database_atomic_delay_before_drop_table_sec>

    <grpc>
        <enable_ssl>false</enable_ssl>
        <ssl_cert_file>/path/to/ssl_cert_file</ssl_cert_file>
        <ssl_key_file>/path/to/ssl_key_file</ssl_key_file>
        <ssl_require_client_auth>false</ssl_require_client_auth>
        <ssl_ca_cert_file>/path/to/ssl_ca_cert_file</ssl_ca_cert_file>
        <compression>deflate</compression>
        <compression_level>medium</compression_level>
        <max_send_message_size>-1</max_send_message_size>
        <max_receive_message_size>-1</max_receive_message_size>
        <verbose_logs>false</verbose_logs>
    </grpc>

    <o

最低0.47元/天解锁文章