Clickhouse入门之安装使用

一、clickhouse介绍

clickhouse是2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。

Clickhouse的特点

行式存储和列式存储

行式存储

优点：

1. 同一条数据的所有属性放在一起，方便一次查出。
2. 适合对单个数据进行增删改查。

列式存储

优点：

1. 同一列的数据放在一起，适合对单个列进行统计分析。
2. 相同列的数据类型都是一致的，更容易进行数据压缩，可根据数据类型选择合适的压缩算法。
3. 由于更好的压缩，节省了磁盘空间，对cache也有了更大的发挥空间。

多样化引擎

clickhouse把表的存储引擎进行了插件化，根据不通的需求可以设定不通的存储引擎，目前有二十多种引擎。

高吞吐写入能力

ClickHouse 采用类 LSM Tree的结构，数据写入后定期在后台 Compaction。通过类 LSM tree的结构，ClickHouse 在数据导入时全部是顺序 append 写，写入后数据段不可更改，在后台compaction 时也是多个段 merge sort 后顺序写回磁盘。顺序写的特性，充分利用了磁盘的吞吐能力，即便在 HDD 上也有着优异的写入性能。
官方公开 benchmark 测试显示能够达到 50MB-200MB/s 的写入吞吐能力，按照每行100Byte 估算，大约相当于 50W-200W 条/s 的写入速度。

数据分区与线程级并行

ClickHouse 将数据划分为多个 partition，每个 partition 再进一步划分为多个 indexgranularity(索引粒度)，然后通过多个 CPU核心分别处理其中的一部分来实现并行数据处理。 在这种设计下，单条 Query 就能利用整机所有 CPU。极致的并行处理能力，极大的降低了查询延时。
所以，ClickHouse 即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多 cpu，就不利于同时并发多条查询。所以对于高 qps 的查询业务，ClickHouse 并不是强项。

二、安装

1、Docker安装

# 先拉取镜像
docker pull yandex/clickhouse-server
# 创建数据目录
mkdir $HOME/some_clickhouse_database
# 启动运行clickhouse服务端，并映射端口和磁盘挂载
docker run -d --name some-clickhouse-server -p 8123:8123 -p 9000:9000 --ulimit nofile=262144:262144 --volume=$HOME/some_clickhouse_database:/var/lib/clickhouse yandex/clickhouse-server 
# ck配置文件位置:/etc/clickhouse-server/config.xml,如果需要可以映射出来

2、rpm安装

官方下载rpm安装包：http://repo.red-soft.biz/repos/clickhouse/stable/el7/

2.1 centos取消打开文件数限制

编辑/etc/security/limits.conf 并新增以下内容

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 65536

编辑/etc/security/limits.d/20-nproc.conf并新增以下内容

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

分发到其他节点

su root
xsync /etc/security/limits.conf
xsync /etc/security/limits.d/20-nproc.conf

2.2 安装依赖（每个节点都需要安装）

sudo yum install -y libtool
sudo yum install -y *unixODBC*

2.3 centos取消selinux

1. 修改/etc/selinux/config 中的 SELINUX=disabled

 sudo vim /etc/selinux/config
SELINUX=disabled

# 不要改错，否则机器启动不起来

2. 同步到其他节点

xsync /etc/selinux/config

2.4 安装clickhouse

1. 在/opt/software下新建clickhouse文件夹，并把安装包上传上去

cd /opt/software
mkdir clickhouse

2. 分别同步到其他节点

xsync clickhouse

3. 分别安装rpm文件

sudo rpm -ivh *.rpm  
# 如果报clickhouse-server依赖找不到就执行下面的
sudo rpm -ivh *.rpm --nodeps --force 

4. 修改配置文件

 vim /etc/clickhouse-server/config.xml

a. 把 <listen_host>::</listen_host> 的注释打开，这样的话才能让 ClickHouse 被除本
机以外的服务器访问

b. 分发配置文件

xsync /etc/clickhouse-server/config.xml

2.5 启动server

 sudo systemctl start clickhouse-server

2.6 各个节点关闭开机自启

sudo systemctl disable clickhouse-server

2.7 使用客户端连接测试

 clickhouse-client -m -password <密码>

使用dbeaver进行连接：

3.安装过程中的问题

报错：Application: DB::Exception: Listen [::]:8123 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 21.7.3.14 (official build))

解决办法：修改config.xml，将listen_host的:: 或者是 ::1 改为0.0.0.0

报错：error: Failed dependencies: initscripts is needed by clickhouse-server-21.7.3.14-2.noarch

使用下面的命令：

sudo rpm -ivh *.rpm --nodeps --force