Clickhouse
clickhouse是一款列式存储数据库。
主要应用于OLAP领域。
OLAP:联机分析处理,主要做数据分析。
OLTP:联机事务处理,主要处理事务。
clickhouse索引和分区:
clickhouse可以进行分区操作,对海量数据进行细粒度的管理。
clickhouse支持索引操作,但是是稀疏索引,默认间隔8192.
clickhouse应用领域:
clickhouse单表查询,效率非常高;但是一旦多表联查,效率就没有那么高。适用于单表操作。
clickhouse数据类型:
整型:支持的整型分为两种:一种是有符号,一种是无符号。
ReplacingMergeTree引擎:
新版本,存储数据默认就会进行分区之内去重,但是分区之间不去重,直到后台进行去重,或是通过optimize手动去重。
SummingMergeTree:
新版本,存储数据默认就会进行分区之内预聚合,但是分区之间不进行预聚合,直到后台进行预聚合,或是通过optimize手动让其预聚合。
foreach和foreachPartition的区别?哪个效率高
foreachPartition效率高。
举例:将1w条数据,分成5个分区,平均每个分区2000条数据,要将这1w条数据保存到数据库,如果调用foreach,一次保存一条:
每来1条数据,就要打开数据库连接