冰川的博客

数据类型尽量用数值型建表时能用数值型或日期时间型表示的字段，就不要用字符串——全String类型在以Hive为中心的数仓建设中常见，但CK环境不应受此影响。直接用DataTime直接用DateTime表示时间列，而不是用整形的时间戳。因为CK中DateTime的底层就是时间戳，效率高，可读性好，且转换函数丰富。不用Nullable官方已经指出Nullable类型几乎总是会拖累性能，因为存储Nullable列时需要创建一个额外的文件来存储NULL的标记，并且Nullable列无法被索引。因此除非

由于使用yum安装，未指定centos数据存储路径，导致数据文件全部存储在/var/lib/clickhouse目录下后迁徙数据文件cp -r /var/lib/clickhouse /home/clickhouse修改文件夹权限修改/etc/clickhouse/config.xml(具体名忘了)存储路径为/home/clickhouse采用systemctl restart clickhouse.service重启数据库后，查询发现只有default库跟system库，没有原先复制导入的数据

由于上文所说的种种原因，ClickHouse为什么不往分布式表直接写数据https://blog.youkuaiyun.com/wenyichuan/article/details/114019734所以采用Nginx做代理安装依赖模块yum -y install gcc gcc-c++ autoconf automake make yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel下载解压Nginxcd /home

启动操作sudo systemctl start clickhouse-serversudo systemctl stop clickhouse-serversudo systemctl status clickhouse-server不要使用service clickhouse-server或/etc/init.d/clickhouse-service报错信息[root@clickhouse04 ~]# systemctl status clickhouse-server● clickho

MergeTree 转换为 ReplicatedMergeTree我们使用 MergeTree 来表示 MergeTree系列 中的所有表引擎，ReplicatedMergeTree 同理。如果你有一个手动同步的 MergeTree 表，可以将其转换为可复制表。如果已经在 MergeTree 表中收集了大量数据，并且现在要启用复制，则可以执行这些操作。如果各个副本上的数据不一致，则首先对其进行同步，或者除保留的一个副本外，删除其他所有副本上的数据。重命名现有的 MergeTree 表，然后使用旧名称

参考博客https://segmentfault.com/a/1190000037480509https://blog.youkuaiyun.com/ashic/article/details/108725437简单总结一下原因Distributed表在写入时会在本地节点生成临时数据，会产生写放大，所以会对CPU及内存造成一些额外消耗，建议尽量少使用Distributed表进行写操作；Distributed表写的临时block会把原始block根据sharding_key和weight进行再次拆分，会产生更

问题复现吐槽这种彩蛋除了会给开发者带来惊吓还有什么作用，又想起了ANTD彩蛋事件，赶紧去看源码是不是有后门。源码定位

节点扩容不会自动同步旧数据有两种方式解决前置条件，在新节点上重新创建表（1）创建一个新集群，select remote（）函数查询A集群输入插入B集群（2）调整weight权重，使数据前期优先存入新节点上直接在分布式表中插入数据数据落地规则：建分布式表时会有一个参数选择分片，一般是rand或者是hash，根据这个参数，还有weight权重两个属性，决定数据落地那个分片建表时添加on cluster 可以一下在多个节点上同时新建本地表推荐使用复制表而不是非复制表，普通merget..

GrafanaGrafana 是一种非常流行的工具，可用于根据时间序列数据创建交互式的仪表盘，也是每个数据库的分析和监控的解决方案。Grafana 允许用户查询、可视化、警报和了解指标。Grafana 提供的很多很棒的特性：可视化从热图到直方图，常见图形到地理地图。Grafana 提供了大量的可视化选择，可帮助用户精美地理解数据。2. 监控报警在接入数据时，根据业务需求定义阈值，无缝定义警报。3. 整合度Grafana 与众多项目进行整合，比如我们熟悉且常用的 Graphite、Elas

ClickHouse配置支持热更改Zookeeper配置不支持热更改，需要重启执行SQLselect * from system.zookeeper where path = '/';配置成功后的查询结果

如果底层是非复制表，那么这个值设为false(默认)。表示insert分布式表时，会在分片的所有副本都写入一份。如果底层是复制表，那么这个值配置为true。表示分布式表不会往所有副本都写入。仅写入到一个副本。internal_replication这个参数是控制写入数据到分布式表时，分布式表会控制这个写入是否的写入到所有副本中。与复制表的同步是不一样的。为什么<2>中要设置为true，这就是为了避免和复制表的同步复制机制出现冲突，导致数据重复或者不一致。因为如果既是复制表、intern.

问题背景创建本地复制表时ENGINE = ReplicatedMergeTree('/clickhouse/default/tables/ontime_local/{shard_name}', '{replica}', FlightDate, (Year, FlightDate), 8192);使用大括号表示会从配置文件中获取宏定义的变量，若未添加该标签会报错报错信息DB::Exception: No macro 'shard_name' in config while processing sub

报错信息DB::Exception: Requested cluster 'xxx' not found解决方案SELECT *FROM system.clusters执行sql检验是否存在指定的集群，一般来说，此处的cluster即metrika.xml文件中的cluster_3shards_1replicas这种类型的字段

插件地址https://github.com/ivi-ru/flink-clickhouse-sink下载好插件后需要写一个测试驱动主程序模块不下载源码的话需要添加maven依赖 <dependency> <groupId>ru.ivi.opensource</groupId> <artifactId>flink-clickhouse-sink</artifactId>

问题背景[root@kubesphere3 ~]# docker run -it -p 8888:8888 yandex/tutorial-catboost-clickhousecatboost@c17cb7190cc1:~$ clickhouse clientClickHouse client version 19.15.2.2 (official build).Connecting to localhost:9000 as user default.Connected to ClickHous