hive+hadoop架构数仓使用问题记录

使用问题记录

问题1：5条数据的表执行count(*)函数，很慢，43s才出结果？

该数仓的分析计算是基于hadoop的mapreduce分布式计算框架运行的，适用于大量/海量数据，少量数据，还是使用单体数据库快。也就是说只有在海量/大量数据场景下，数仓的分析计算才能发挥优势。

问题2：执行 select count(*) 报错，执行select * 正常？

报错如下：

[2024-11-28 10:59:28] [08S01][1] Error while compiling statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Your endpoint configuration is wrong; For more details see: http://wiki.apache.org/hadoop/UnsetHostnameOrPort

日志看不出问题，再查看hadoop yarn resouce节点的日志

tail -300f /home/xxx/hadoop-3.2.2/logs/hadoop-hadoop-resourcemanager-yd-ss.log

提示问题Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

按照日志提示，及搜索各大技