FlieBeat & Kafka & Clickhouse 替代ELK 系列一

背景

saas服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。

elasticsearch vs clickhouse

ClickHouse是一款高性能列式分布式数据库管理系统，我们对ClickHouse进行了测试，发现有下列优势：

ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。在ES中比较常见的写Rejected导致数据丢失、写入延迟等问题，在ClickHouse中不容易发生。

查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。经测试ClickHouse的查询速度比ES快5-30倍以上。

ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高，相同数据占用的磁盘空间只有ES的1/3到1/30，节省了磁盘空间的同时，也能有效的减少磁盘IO，这也是ClickHouse查询效率更高的原因之一；另一方面ClickHouse比ES占用更少的内存，消耗更少的CPU资源。我们预估用ClickHouse处理日志可以将服务器成本降低一半。

<

支持功能\开源项目	ElasticSearch	ClickHouse
查询	java	c++
存储类型	文档存储	列式数据库
分布式支持	分片和副本都支持	分片和副本都支持
扩展性	高	低
写入速度	慢	快
CPU/内存占用	高	低
存储占用（54G日志数据导入）	高 94G(174%)	低 23G（42.6%）
精确匹配查询速度	一般	快
模糊匹配查询速度	快	慢
权限管理	支持	支持
查询难度	低	高
可视化支持	高	低
使用案例	很多	携程
维护难度	低	高