一个人的编程之路

引语  上一篇介绍了关于Hive优化的一些基本概念，这一篇主要讲hive性能优化的一些具体事项，这篇主要将对数据倾斜问题的优化，以及其他的方面的一些优化。数据倾斜什么是数据倾斜  在Hadoop当项目中，数据倾斜可以说是损害Hadoop性能的罪魁祸首。在运行Hadoop的任务过程当中，我们可能因为业务的需要，避免不了需要按照某个字段分组，去重，进行多表连接等操作，在这些操作当中一旦有些使用...

介绍Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行 。Hive本身是不能存储数据的，它只是记录数据的一些路径信息，最终所有的操作都转换成MapReduce操作，所以Hive的优化其本质上是对Hadoop的优化。Hadoop的特点有经验的人知道，hadoop在处理数据的过...

文章目录什么是Hive？Hive的特点Hive的架构元数据存储模式什么是Hive？  Hive最初是由FaceBook公司开发的一个基于Hadoop框架并且开源的一个数据仓库工具，后贡献给了Apache基金会由Apache来进行维护和更新。Hive可以将结构化的文件映射为一张数据表，但并不提供查询功能，而是将SQL转化为MapReduce任务进行运行。同时，Hive本身不存储数据，只是存储数据...