
clickhouse
文章平均质量分 68
clickhouse项目实战问题记录
笔墨新城
stay hungry stay foolish(饥渴求知,虚怀若愚)
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
clickhouse mysql引擎 和 MaterializedMySQL引擎的区别
1.mysql引擎MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中,并允许您对表进行INSERT和SELECT查询,以方便您在ClickHouse与MySQL之间进行数据交换MySQL数据库引擎会将对其的查询转换为MySQL语法并发送到MySQL服务器中,因此您可以执行诸如SHOW TABLES或SHOW CREATE TABLE之类的操作。但不能对其执行以下操作:RENAMECREATE TABLEALTER2.MaterializedMySQL引擎(官网说 这个原创 2022-01-04 10:37:20 · 1600 阅读 · 0 评论 -
clickhouse分区实战
前言只有MergeTree引擎支持数据分区,区内排序,合并,去重。Clickhouse 中最强大的表引擎当属 MergeTree (合并树)引擎及该系列(*MergeTree)中的其他引擎。MergeTree 系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入,数据片段在后台按照一定的规则进行合并。相比在插入时不断修改(重写)已存储的数据,这种策略会高效很多。主要特点:ReplacingMergeTree:为了数据去重设计的,能够在合并分区的时候删除重原创 2021-11-29 18:39:01 · 662 阅读 · 0 评论 -
clickhouse 系统命令介绍
SYSTEM命令RELOAD EMBEDDED DICTIONARIES重新加载所有内置字典,默认是禁用的,总是返回 OK。???? SYSTEM RELOAD EMBEDDED DICTIONARIES;RELOAD DICTIONARIES重载已经被成功加载过的所有字典。默认情况下,字典是延时加载的( dictionaries_lazy_load),不是在服务启动时自动加载,而是在第一次使用dictGet函数或通过 SELECT from tables with ENGINE = Dictio原创 2021-11-29 16:40:25 · 2087 阅读 · 0 评论 -
ClickHouse 异常问题记录
1.插入报错ClickHouse exception, code: 6, host: xxx.xx.xx.28, port: 8123; Code: 6, e.displayText() = DB::Exception: Cannot parse string '12345 ' as Int64: syntax error at begin of string. Note: there are toInt64OrZero and toInt64OrNull functions, which returns原创 2021-11-26 16:29:21 · 8803 阅读 · 1 评论 -
Clickhouse用户权限管理配置sql操作
1Clickhouse用户权限管理操作修改clickhouse的配置,开启sql执行权限Clickhouse 支持sql执行权限的版本 要在20.5版以上1.1.1修改users.xmlSQL化用户配置默认是关闭的,要启用它,需要在users.xml中的一个用户(一般就是默认的default)下添加:<access_management>1</access_management>1.1.2修改config.xml2)另外还需要在config.xml中配置权限管理数据的原创 2021-11-19 14:22:55 · 1931 阅读 · 0 评论 -
clickhouse的sql的基本操作
更新操作1.更新表字段写法alter table level1_financial.LC_AShareSeasonedNewIssue MODIFY COLUMN AssetAppraisalFee Nullable(Decimal128(4))2.批量更新字段写法 alter table level1_financial.LC_AShareSeasonedNewIssue MODIFY COLUMN AssetAppraisalFee Nullable(Decimal128(4)), MODI原创 2021-06-21 14:19:44 · 436 阅读 · 0 评论 -
为什么大量数据频繁更新clickhouse会有问题之clickhouse的Mutation机制
这个参数和后台异步工作线程池merge工作有关。ClickHouse内核中异步merge、mutation工作由统一的工作线程池来完成,这个线程池的大小用户可以通过参数background_pool_size进行设置。线程池中的线程Task总体逻辑如下,可以看出这个异步Task主要做三块工作:清理残留文件,merge Data Parts 和 mutate Data Part。......原创 2021-06-18 11:17:05 · 1890 阅读 · 0 评论 -
Clickhouse使用优化
1.数据类型1)虽然clickhouse底层将DateTime存储为时间戳Long类型,但不建议直接存储Long类型,因为DateTime不需要经过函数转换处理,执行效率高、可读性好。2)官方已经指出Nullable类型几乎总是会拖累性能,因为存储Nullable列时需要创建一个额外的文件来存储NULL的标记,并且Nullable列无法被索引。因此除非极特殊情况,应直接使用字段默认值表示空,或者自行指定一个在业务中无意义的值(例如用-1表示没有商品ID)。2.分区和索引1)分区粒度根据业务特点决定,原创 2021-05-19 15:28:25 · 2363 阅读 · 0 评论 -
ClickHouse基本数据类型总结
1.什么是 ClickHouse ?ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。也是是一个数据分析的数据库,列式存储数据。2. ClickHouse的特性完备的DBMS功能列式存储与数据压缩向量化执行引擎关系模型与SQL查询磁盘存储的数据数据复制和对数据完整性的支持实时数据更新3.ClickHouse 支持的数据类型1.整型有符号整型:Int8, Int16, Int32, Int64无符号整型:UInt8, UInt16, UInt3原创 2021-04-16 14:27:35 · 3641 阅读 · 0 评论