clickhouse使用经验总结_clickhouse高并发查询-优快云博客

1、java连接clickhouse中，尽量不用使用循环查，容易造成超时异常；
2、高并发查询clickhouse造成超时。
3、clickhouse适合大数据量，单查询。
4、高并发需要优化clickhouse的配置，具体包含
       max_concurrent_queries   100个并发 1000个
       uncompressed_cache_size 8G 总内存*2/3
5、对于数据去重，除了使用distinct函数外，还有uniq()、uniqCombined()、uniqHLL12()、uniqExact()近似算法函数。
6、对于数据同步，直接在命令行，使用remote()函数从远程其他数据库同步，此外还有clickhouse-copyier工具
7、可以直接将mysql数据同步至clickhouse中；(clickhouse-client --host xx.xx.xx.xx --port 8123)
       CREATE DATAASE IF NOT EXISTS tt_test ENGINE=MySQL('172.11.11.11:3306', 'tt_test ', 'root', 'xxxxx');
       INSERT INTO default.tt_test (c1, xxxx) SELECT c1,xxx FROM mysql('172.11.11.11:3306', 'tt_test', 'root', 'xxxxx') ;
       INSERT INTO default.tt_test SELECT * FROM remote('172.11.11.11:8123', tt.test, '', '');
8、ck配置内存不能设置过大，否则，在进行一些需要申请超过操作系统限制的查询时，会出现OOM，导致ck被系统kill掉。
需要对ck的查询使用内存进行限制，通常需要使用ck所在服务器的百分之八九十即可。（users.xml---<max_memory_usage>）10737418240（10G）
9、针对常查询的字段，使用ORDER BY(c1, c2, xxx) 创建索引；
10、有Nullable的字段，不能创建索引，一些查询字段不要设置Nullable();
11、针对多个基础表，使用物化视图（MATERIALIZED），可以提高连表查询速度。
       CREATE MATERIALIZED VIEW default.tt_test(
           `c1` String,
           `c2` Float64,
           `c3` Float64,
           `c4_date` Date
       )ENGINE = SummingMergeTree() PARTITION BY c4_dateORDER BY c1
12、使用TTL，设置表数据过期自动删除的时间（TTL只有暂停功能、没有取消功能）
       CREATE TABLE default.tt_test(
           ……
       ) ENGINE = MergeTree() PARTITION BY toYYYYMMDD(xx_date)
       ORDER BY(c1, c2, c3, c4, c5, c6)
       TTL c1+ toIntervalDay(30)
13、ck默认索引粒度（ck为clickhouse简称）
   8192 = 1024 * 8
14、ck列设置空值转换
   （1）空表，Nullable与非空类型可以互转；
   （2）Nullable字段，如果记录不带有Null值，可以从Nullable转成非空类型；
   （3）含有null值的字段不允许转成非空类型；
   （4）Nullable字段不允许用于order by；