clickhouse故障处理(服务器异常重启)

最新推荐文章于 2025-10-01 07:38:20 发布

原创

最新推荐文章于 2025-10-01 07:38:20 发布 · 1w 阅读

6 ·

CC 4.0 BY-SA版权

凌晨项目演练导致ClickHouse服务意外重启，大量任务报错。本文详细记录了故障处理过程，包括服务状态检查、日志分析及数据文件与元数据一致性问题解决。

背景:

今天凌晨,公司项目演练,曰"**地球"，关键问题是没提前通知过，就这样我被凌晨的电话吵醒。

问题：clickhouse服务被演练项目组直接断电重启，从日志看大概经过了1个半小时，我们大量clickhouse任务报错，大概50多个吧；

处理经过如下：

1、开机首先看service clickhouse-server status ,果然stopped,于是执行service clickhouse-server restart,结果啥信息也不提示，看状态依然是stopped；

2、看clickhouse.log,发现有以下错误：

2020.06.29 03:14:21.926253 [ 1 ] {} <Error> Application: DB::Exception: Cannot create object 'tmp_edw_htl_order_sale_step2' from query ATTACH TABLE tmp_edw_htl_order_sale_step2 (`orderid` Nullable(Int64), `tickettype` Nullable(String), `book_direct_amount` Float64, `book_ticket_amount` Float64, `actual_ticket_amount` Float64, `actual_direct_amount` Float64) ENGINE = MergeTree ORDER BY tuple() SETTINGS index_granularity = 8192, error: DB::Exception: Attempt to read after eof, stack trace:
3、于是接着看看clickhouse.err.log,也有一模一样错误：

2020.06.29 03:14:21.926253 [ 1 ] {} <Error> Application: DB::Exception: Cannot create objec