qq_41612830的博客

目录1 Hive调优策略1.1 架构优化1.2 参数优化1.3 SQL优化1 Hive调优策略Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。从以下三个方面展开：架构优化参数优化SQL优化1.1 架构优化执行引擎Hive支持多种执行引

目录1 HQL操作之--DML命令1.1 Hive 事务1.2 Hive 事务操作示例2 元数据管理与存储2.1 Metastore2.2 HiveServer21 HQL操作之–DML命令数据操纵语言DML(Data Manipulation Language)，DML主要有三种形式：插入(INSERT)、删除(DELETE)、更新(UPDATE)。事务(transaction)是一组单元化操作，这些操作要么都执行，要么都不执行，是一个不可分割的工作单元。事务具有的四个要素：原子性（Atomic

目录1 HQL操作之 -- DQL命令1.1 基本查询1.2 where子句1.3 group by子句1.4 表连接1.5 排序子句【重点】2 函数【重难点】2.1 系统内置函数1 HQL操作之 – DQL命令DQL – Data Query Language 数据查询语言select语法：SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROU

目录1 Hive概述1.1 Hive产生背景1.2 Hive和RDBMS(关系数据库管理系统)对比1.3 Hive的优缺点1.4 Hive架构1 Hive概述1.1 Hive产生背景直接使用MapReduce处理大数据，将面临以下问题：MapReduce 开发难度大，学习成本高(wordCount => Hello World)Hdfs文件没有字段名、没有数据类型，不方便进行数据的有效管理使用MapReduce框架开发，项目周期长，成本高Hive是基于Hadoop的一个数据仓库工