Hive个人心得笔记
一、Hadoop开发存在的问题
- 只能用java语言开发,如果是c语言或其他语言的程序员用Hadoop,存在语言门槛
- 需要对Hadoop底层原理,api比较了解才能做开发
- 开发调试比较麻烦
二、Hive概述
- Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表,并提供完整的sql查询功能
- 底层是将sql语句转换为MapReduce任务进行运行
- Hive提供了一系列的工具,可以用来进行数据提取、转化、加载(ETL Extract-Transform-Load ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制
- 本质上是一种大数据离线分析工具
三、Hive的HQL
- HQL - Hive通过类SQL的语法,来进行分布式的计算
- HQL用起来和SQL非常的类似