yangbllove的博客

hive推出的窗口函数功能是对hive sql的功能增强，确实目前用于离线数据分析逻辑日趋复杂，很多场景都需要用到。一、理解下什么是WINDOW子句window子句，就是灵活控制窗口的子集。PRECEDING：往前FOLLOWING：往后CURRENT ROW：当前行UNBOUNDED：起点（一般结合PRECEDING，FOLLOWING使用）UNBOUNDED PRECEDING ...

hive的架构原理hive的架构原理可如下图所示：MetaStore：元数据储存，存储着Hive中文件的元数据信息。元数据信息主要包括了文件的名称、表的列、分区和属性、表的属性（是不是外部表等）、表的内容所在目录等等。Diver：该组件包括了编译器（Compiler）、优化器（Optimizer）、执行器（Excutor）。Diver组件完成HQL语句从词法分析、语法分析、编译、优化、以及...

工作中影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化，也包含Hive配置项和MR方面的调整。下面列出常见的HiveSQL优化策略：列裁剪和分区裁剪最基本的操作。所谓列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。以我们的日历记录表为例：select u...

HiveSQL底层默认是基于MR程序运行的，我们分析HiveSQL的运行原理之前，首先看一下MR程序实现一些SQL操作的基本原理。MapReduce实现基本SQL操作的原理参考文献：https://www.cnblogs.com/csguo/p/7553022.html...