Impala Deamon问题排查流程

问题描述

Impala Deamon 进程挂掉自动重启。以下内容为和Cloudrea原厂提case沟通几天加上日常积累总结而来。

排查流程

一、首先排查是否因为内存原因导致

1. 有大内存消耗查询

Impala查询内，查看机器故障前半小时~1小时至故障点的查询。

> e.g.  CDP Impala 查询页面可以按以下查询条件搜索
> memery_spilled>10GB 
> memery_aggregate_peak>500GB

• 如确定是查询导致，下载Profile详细分析保存信息及其ExecSummary等情况各Operator的指标。如果这边不会解读，之前博文中有具体说明。利用impala query profile解决性能问题（一）Impala plan and profile
  利用impala query profile解决性能问题（二）高级查询调优和故障排除

• 如若 Profiles 已删除，无法查看，可以去查询的 coordinator 主机上（如果您没有做缺省配置修
  改）/var/log/impalad/profiles 目录进行下载。
  以下配置都可以提高 profile文件存储量，从而增加查询 profile 保留时间：