impala + hive metastore遇到的问题

最新推荐文章于 2024-01-04 08:05:27 发布

muzilioo

最新推荐文章于 2024-01-04 08:05:27 发布

阅读量1.5k

点赞数

分类专栏：技术类文章标签：大数据 java

在使用Impala（版本1.1.1）和Hive（0.10.0-cdh4.4.0）时，遇到加载元数据失败的问题，导致访问表`my_table`异常。异常表现为SocketTimeoutException和OutOfMemoryError。解决步骤包括：重启Hive metastore服务，调整HADOOP_HEAPSIZE，升级Impala版本至1.2.4，以及在Impala中使用`invalidate metadata`命令刷新表元数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

impala版本：1.1.1

hive：0.10.0-cdh4.4.0

hadoop：hadoop-2.0.0-cdh4.2.2

数据存储在hadoop的HDFS，文件格式是RCFile，用impala创建external table方式关联文件。一直都正常运行，但因为数据量太大，业务应用访问太慢，需要将table分区，但没想分区太多。出现了异常,异常内容如下：

ERROR: AnalysisException: Failed to load metadata for table: my_table CAUSED BY: TableLoadingException: TableLoadingException: Failed to load metadata for table: my_table CAUSED BY: TTransportException: java.net.SocketTimeoutException: Read timed out CAUSED BY: SocketTimeoutException: Read timed out

或者

AnalysisException:Failed to load metadata for table:my_table

CAUSED BY:TableLoadingException:Failed to load metadata for table:my_table

CAUSED BY: TTransportExeption: null

查找原因，发现impala与hive都不能正常读取metadata信息。但进程仍正常。只好kill掉进程再重启