clickhouse 相关的调研结果

本文详细介绍了ClickHouse集群的搭建、数据同步、高可用集群构建、扩容缩容操作及备份策略。重点强调了分布式环境中使用Distributed Engine的注意事项,如只支持insert和select操作,不支持update和delete,并指出在ReplicatedMergeTree表上进行创建、删除和重命名操作需在本地节点执行。此外,还提到了Distributed Engine中insert操作的异步特性以及如何实现数据同步插入。对于数据删除再插入相同数据会消失的问题,解释了原因是由于insert_duplicate导致的。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

clickhouse 集群的搭建见:https://mp.weixin.qq.com/s/JR8wamqNd5Bg6e2CnX6orw 其中配置文件部分需要重点关注,可以看实际文件 config.xml 中的示例做修改

clickhouse 的数据同步见: https://bohutang.me/2020/09/13/clickhouse-and-friends-replicated-merge-tree/

clickhouse 高可用集群的搭建:https://www.modb.pro/db/41061

clickhouse 扩容和缩容的操作见: https://aop.pub/artical/database/clickhouse/cluster-scale/

clickhouse 的备份见:https://aop.pub/artical/database/clickhouse/backup-recovery/

clickhouse 里需要注意的地方:

  1. clickhouse 在分布式中需要使用到 distributed engine,该 engine 仅支持 insert 和 select 操作,不支持 update 和 delete data 操作,所以在 update 和 delete 操作时,需要注意的是只能在本地表执行
  2. clickhouse 中的 ReplicatedMergetree 对表的 create delete rename 只能在本地节点操作,无法同步
  3. clickhouse 的 distributed engine 中 insert 的操作是异步的,可以通过 insert_distributed_sync 将该参数调节为 True 来实现数据的同步插入,数据的同步即指:发出 sql 命令后,sql 命令在每个 shard 节点生效之后才会有返回值,其他相关的参数见:https://stackoverflow.com/questions/63953644/clickhouse-distributed-tables-and-insert-quorum
  4. clickhouse distribute 引擎下插入数据后删除数据再次插入相同的数据,便会不存在,这个是因为 insert_dumplication 的缘故,https://github.com/ClickHouse/ClickHouse/issues/3526
    https://blog.youkuaiyun.com/cwg_1992/article/details/100691109
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值