Clickhouse从单节点到集群搭建详解以及分布式分表设计,mysql整表同步,表主键去重以及脚本增删改查,以及可视化工具DBeaver推荐详解

最新推荐文章于 2025-10-08 03:11:23 发布

原创

最新推荐文章于 2025-10-08 03:11:23 发布 · 2.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#clickhouse #大数据

本文详细介绍了ClickHouse的单节点及集群搭建流程，包括配置、数据表设计、Python操作及可视化工具推荐。涵盖高性能分布式数据库的全面指南。

一.背景

参考:ClickHouse高性能分布式分析数据库

二.分布式设计

原始数据表A:a服务器

分表B1:a服务器分表B2:b服务器分表B3:c服务器

分布式表C:a服务器
在这里插入图片描述

三.搭建

1.单节点搭建

#使用脚本安装yum源
curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash
#yum 安装 server 以及 client
sudo yum install -y clickhouse-server clickhouse-client

# yum下载的数据一般都在/etc/init.d目录下
#查看是否安装完成
sudo yum list installed 'clickhouse*'


# 对外开放
cd /etc/clickhouse-server
vim config.xml
<listen_host>0.0.0.0</listen_host>


# 开机启动clickhouse-server 
# systemctl enable clickhouse-server
# systemctl start clickhouse-server

2.集群搭建(三台机器)

在这里插入图片描述

zookeeper搭建参考centos7搭建kafka集群

# 三台服务器依次进行一下操作
vim config.xml
<!-- 外部配置文件 -->
<include_from>/etc/clickhouse-server/metrika.xml</include_from>

cd /etc/clickhouse-server
vim metrika.xml

<yandex>
<!-- 集群配置 -->
<clickhouse_remote_servers>
    <!-- 3分片1备份 -->
    <cluster_3shards_1replicas>
        <!-- 数据分片1  -->
        <shard>
            <replica>
                <host>10.8.*.147</host>
                <port>9000</port>
            </replica>
        </shard>
        <!-- 数据分片2  -->
        <shard>
            <replica>
                <host>10.8.*.62</host>
                <port> 9000</port>
            </replica>
        </shard>
        <!-- 数据分片3  -->
        <shard>
            <replica>
                <host>10.8.*.239</host>
                <port>9000</port>
            </replica>
        </shard>
    </cluster_3shards_1replicas>
</clickhouse_remote_servers>
<!-- zk配置  -->
<zookeeper-servers>
        <node index="1"