ClickHouse-集群部署以及副本和分片

副本

副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/

副本只支持合并数家族，支持的引擎如下：

副本写入流程

clickhouse集群没有主从之分

配置步骤

(1)启动 zookeeper 集群

(2)在 hadoop113 的/etc/clickhouse-server/config.d 目录下创建一个名为 metrika.xml的配置文件,内容如下:

**注:也可以不创建外部文件,直接在 config.xml 中指定<zookeeper>**也可以，这样的话就不需要配置3步骤的信息了。

<?xml version="1.0"?>
<yandex>
    <zookeeper-servers>
        <node index="113">
            <host>hadoop113</host>
            <port>2181</port>
        </node>
            <node index="114">
            <host>hadoop114</host>
        	<port>2181</port>
        </node>
            <node index="115">
            <host>hadoop115</host>
        	<port>2181</port>
        </node>
    </zookeeper-servers>
</yandex>

将文件的所有者改为clickhouse，并且配置相关的文件的所有者必须都是clickhouse

chown clickhouse:clickhouse metrika.xml

(3)在 hadoop112 的/etc/clickhouse-server/config.xml 中增加使用以上文件

<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

(4)分别在 hadoop113 和 hadoop114 上启动 ClickHouse 服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

(5)在所有服务器上分别建表

副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表

/* hadoop113 */
create table t_order_rep2 (
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_113')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

/* hadoop114 */
create table t_order_rep2 (
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_114')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id