本文档详细介绍了在Hadoop 2.6环境下，遇到的数据表查询错误及HDFS问题，包括元数据片段超限和客户端Heap大小不足等。通过分析错误日志和官方Jira，提出了解决方案，如修改Hive源码、调整Hadoop参数，并分享了大规模Hadoop集群启动的最佳实践。强调了在处理集群问题时，如何通过关键字快速定位并解决故障的重要性。
Hadoop作为大数据离线分析平台环境，目前已经在各行业广泛使用，由于应用场景、环境版本、数据量等不同因素，经常会出现一些集群问题，有些问题会导致数据查询错误，有些问题会导致整个集群无法正常运行，本系列文章将列举一些问题案例，通过描述问题处理过程。
场景
数据表翻倍，导致数据表产生后无法查询。
软件环境：Hadoop 2.6
-
错误1
select * from table1where dt='2017-01-11' limit 1;
Failed with exception java.io.IOException:java.lang.RuntimeException:serious problem
-
错误2
select count(*)from table1 where dt='2017-01-11' limit1
Diagnostic Messages for this Task:
最低0.47元/天 解锁文章
扫一扫
3742
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
