记录:
项目中需要进行日志数据的采集及分析,然后进行数据展示,但由于日志数据及组织用户等基础数据过大,日志数据已有几千万,且有很多不同类型日志,组织表有20W左右,用户表有200W,以及其他的一些基础表。
现在每天进行数据分析的时候,多个表关联查询效率非常低,已做mysql的集群部署,不见起色。问了dba的同事,推荐用clickhouse数据库进行分析,结果存储到mysql中。
clickhouse安装,集群,备份,迁移等参照百度
离线安装:Clickhouse在CentOS下离线安装并新建用户远程连接_service clickhouse-server start_wang727997856的博客-优快云博客
下载地址:Index of /clickhouse/rpm/stable/x86_64/
数据备份及恢复:大数据-ClickHouse技术六(clickhouse-backup备份)_无敌小田田的博客-优快云博客