那些年使用Hive踩过的坑

1.概述

这个标题也是用血的教训换来的，希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述：

• Hive的结构
• Hive的基本操作
• Hive Select
• Hive Join
• Hive UDF
• Hive的M/R
• 使用Hive注意点
• 优化及优化详情
• 优化总结
• 调优的经常手段
• 解决Hive问题的途径

这篇文章只是起个头，为描述其他部分做下准备。下面我赘述下Hive的结构和一些基本的操作。

 

2.介绍

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

首先，我来说说什么是hive（What is Hive?），请看下图：