替代ELK：ClickHouse+Kafka+FlieBeat，才是最佳选择？

构建企业级数据处理平台：从SaaS转向ClickHouse的部署与优化策略

最新推荐文章于 2025-03-06 17:36:52 发布

原创

最新推荐文章于 2025-03-06 17:36:52 发布 · 1.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#elk #clickhouse #kafka

背景

SaaS 服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。

然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。

Easticsearch vs Clickhouse

ClickHouse是一款高性能列式分布式数据库管理系统，我们对ClickHouse进行了测试，发现有下列优势：

ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。在ES中比较常见的写Rejected导致数据丢失、写入延迟等问题，在ClickHouse中不容易发生。

查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。经测试ClickHouse的查询速度比ES快5-30倍以上。

ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高，相同数据占用的磁盘空间只有ES的1/3到1/30，节省了磁盘空间的同时，也能有效的减少磁盘IO，这也是ClickHouse查询效率更高的原因之一；另一方面ClickHouse比ES占用更少的内存，消耗更少的CPU资源。我们预估用ClickHouse处理日志可以将服务器成本降低一半。

成本分析

备注：在没有任何折扣的情况下，基于aliyun分析

环境部署

zookeeper 集群部署

yum install java-1.8.0-openjdk-devel.x86_64/etc/profile 配置环境变量更新系统时间yum install  ntpdatentpdate asia.pool.ntp.org
mkdir zookeepermkdir ./zookeeper/datamkdir ./zookeeper/logs
wget  --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz