BubbleMa

Hive的数据倾斜实际上就是MR的数据倾斜

一、函数1、内置函数 查看内置函数：show functions 查看某一内置函数信息：desc function extended fname 常用内置函数： 1. 集合函数 map：生成map集合。参数必须是偶数个，奇数位看做key，偶数位看做value array：生成数组 ...

一、插入1. load load data [local] inpath '/../..' [overwrite] into table tname [partition(partcol1=val1,...)]; 1）从本地加载 使用local关键字加载本地的数据，实质是将本地数据上传到HDFS中Hive表的目录下。 2）从HDFS加载 加载HDFS上的数据，此时会将数据移动到Hiv...

Hive支持标准SQL，同时又有自己的特点，属于方言版SQL。Hive的ddl主要包含对于数据库和表的查询、创建和删除。dml包含数据查询和插入，其中插入有load和insert两种方式，针对于4种表的特点有不同的插入方式。一、ddl : data define language库： 创建库：create database dname; 切换库：use dname; 查询库列表：show database; show...

一、产生背景 Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据 映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据，适用于离线的批量数据计算。Hive 依赖于 HDFS 存储数据，Hive...