老姜的数据江湖

执行一段HQL之后，报了如下错误 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas 此错误只能通过yarn 日志进行查看，通过查看发现报OOM，解决OOM问题不能单纯增加计算空间，比如MAP以及REDUCE计算空间。 我们首先看一下日志错误阶段， 通过日志观察实在STAGE２阶段的map阶段就报错，并没有到REDUCE阶段。 那我们就可以来看看这段SQL explain 执行计划，

一 确定需求 我把需求主要分为三大类 一 离线数据报表需求 二 实时观查数据走向需求 三 算法需求 二 确定系统架构 根据需求我们目前有几种大数据架构可以供参考 流式架构 流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理，所以在数据接入端没有了ETL，转而替换为数据通道。经过流处理加工后的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多的以窗口的形式进行存储，所...