FlieBeat & Kafka & Clickhouse 替代ELK 系列一

背景

saas服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。

elasticsearch vs clickhouse

ClickHouse是一款高性能列式分布式数据库管理系统，我们对ClickHouse进行了测试，发现有下列优势：

ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。在ES中比较常见的写Rejected导致数据丢失、写入延迟等问题，在ClickHouse中不容易发生。

查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。经测试ClickHouse的查询速度比ES快5-30倍以上。

ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高，相同数据占用的磁盘空间只有ES的1/3到1/30，节省了磁盘空间的同时，也能有效的减少磁盘IO，这也是ClickHouse查询效率更高的原因之一；另一方面ClickHouse比ES占用更少的内存，消耗更少的CPU资源。我们预估用ClickHouse处理日志可以将服务器成本降低一半。

支持功能\开源项目	ElasticSearch	ClickHouse
查询	java	c++
存储类型	文档存储	列式数据库
分布式支持	分片和副本都支持	分片和副本都支持
扩展性	高	低
写入速度	慢	快
CPU/内存占用	高	低
存储占用（54G日志数据导入）	高 94G(174%)	低 23G（42.6%）
精确匹配查询速度	一般	快
模糊匹配查询速度	快	慢
权限管理	支持	支持
查询难度	低	高
可视化支持	高	低
使用案例	很多	携程
维护难度	低	高

成本分析

备注：在没有任何折扣的情况下，基于aliyun分析

成本项	标准	费用	说明	总费用
zookeeper 集群	2核4g 共享计算型 n4 50G SSD 云盘	222/月	3台高可用	666/月
kafka 集群	4核 8g 共享标准型 s650G SSD 云盘300G 数据盘	590/月	3台高可用	1770/月
filebeat 部署			混部相关的应用，会产生一定的内存以及磁盘开销，对应用的可用性会造成一定的影响。
clickhouse	16核32g 共享计算型 n450G SSD 云盘1000G 数据盘	2652/月	2台高可用	5304/月
总费用				7740/月

环境部署

zookeeper 集群部署

yum install java-1.8.0-openjdk-devel.x86_64
/etc/profile 配置环境变量
更新系统时间
yum install  ntpdate
ntpdate asia.pool.ntp.org

mkdir zookeeper
mkdir ./zookeeper/data
mkdir ./zookeeper/logs

wget  --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz
tar -zvxf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/zookeeper

export ZOOKEEPER_HOME=/usr/zookeeper/apache-zookeeper-3.7.1-bin
export PATH=$ZOOKEEPER_HOME/bin:$PATH

进入ZooKeeper配置目录
cd $ZOOKEEPER_HOME/conf

新建配置文件
vi zoo