
clickhouse
文章平均质量分 70
sileiH
这个作者很懒,什么都没留下…
展开
-
Clickhouse的集群安装和部署
一、安装环境本次安装使用clikchouse用户来安装,安装环境为CetOS7。其余linux也可适用(略有变动)Clickhouse的环境需求官网也有介绍:即,CH只支持Linux,且必须支持4.2 SSE指令。若是在其他环境中想要搭建CH,可以使用docker或者使用线上云服务。System requirements for pre-built packages: Linux, x86_64 with SSE 4.2.检测系统是否支持SSE4.2grep -q sse4_2 /proc/c原创 2021-02-26 16:52:39 · 895 阅读 · 0 评论 -
Clickhouse数据类型和数据表类型
一、数据类型Clickhouse数据类型可以划分为三种,分别是基础类型、复合类型和特殊类型。1. 基础类型1.1 数值类型1)Int有着无符号整数和有符号整数两种。名称大小(字节)范围普遍观念Int81-128 到 127TinyintInt162-32768 到 32767SmallintInt324-2147483648 到 2147483647IntInt648-9223372036854775808 到 9223372036原创 2021-02-26 15:33:50 · 4407 阅读 · 2 评论 -
Clickhouse客户端访问(CLI和JDBC)
Clikchouse底层支持HTTP和TCP两种协议。其中HTTP的端口为8123,它拥有更好的兼容性。TCP协议则拥有更好的性能,默认端口为9000。一般都是通过CLI和JDBC这两些封装接口去访问,因为它们更加简单和方便。原创 2021-02-07 11:54:14 · 2544 阅读 · 0 评论 -
Clickhouse为什么这么快?
一说到Clickhouse,大家都知道它非常快,那么CH为什么这么快,是因为使用了向量化、列式数据库还是其它。下面我们一起来探索它的奥秘。(《ClickHouse原理解析与应用实践》总结)1、硬件方面Clickhouse会在内存中进行Group By,并使用HashTable装载数据。与此同时,CH对于CPU L3级别的缓存也特别在意,因为一次L3级别缓存的失效都会带来70~100ns,积少成多。一个32G,则可能会浪费5亿次/秒的运算。也正是因为如此,CH能在基准查询中做到1.75亿次/秒的.原创 2021-02-05 19:31:34 · 1950 阅读 · 0 评论 -
Clickhouse的架构设计
最近在读《ClickHouse原理解析与应用》,把一些重点的东西整理出来分享。1、Column和FieldClickhouse中最基础的单位是Column和Field。 在Clickhouse中Column对象分为接口和实现两个部分,IColumn接口对象中,定义了对数据操作的各种关系运算的方法。 Field对象代表一个单值。 2、DateTypeDateType负责数据的序列化和反序列化工作。但是DateType不直接负责数据的读取,而是由Column或Fi...原创 2021-02-05 18:54:23 · 550 阅读 · 2 评论 -
Clickhouse单机安装详解
一、安装环境Clickhouse的环境需求官网也有介绍:即,CH只支持Linux,且必须支持4.2 SSE指令。若是在其他环境中想要搭建CH,可以使用docker或者使用线上云服务。System requirements for pre-built packages: Linux, x86_64 with SSE 4.2.检测系统是否支持SSE4.2grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" ||原创 2021-01-29 19:31:57 · 643 阅读 · 0 评论 -
ClickHouse简介
一、概述ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是由俄罗斯公司Yandex于2016年6月15日开源的一个项目,简称为CH。其处理数据的速度比传统方法快 100-1000 倍。二、适应场景 数据批量导入(数据底层会异步做数据同步,少量多次的插入会比较耗资源) 少修改或者不修改当前数据(ch修改数据会重写整个partition,较为耗资源) 高时效、低频率查询(由于ch执行的时候会调用一半的CPU,追求极致的时效) ...原创 2021-01-26 16:47:27 · 844 阅读 · 1 评论 -
Clickhouse性能测试
一、数据导入性能测试 文件名称 文件大小 数据量大小 导入花费时间 表空间大小 customer.tbl 317M 300W 27s 114M lineorder.tbl 66G 6亿 1h25m16s 16.7G part.tbl 135M原创 2020-12-14 19:25:43 · 1159 阅读 · 0 评论