u013111855的博客

Hive 的优化方法

有如下4张表：1、学生表mysql> select * from student;+------+--------+------------+-------+| s_id | s_name | s_birth | s_sex |+------+--------+------------+-------+| 01 | 赵雷 | 1990-01-01 | 男 || 0...

原始表如下：mysql> select * from t;+------+--------+-------+| Name | Month | Sale |+------+--------+-------+| emi | 201801 | 10000 || emi | 201802 | 11000 || emi | 201903 | 12000 || tom | 2...

两个表如下：mysql> select * from t1 ;+----+--------+| id | Name |+----+--------+| 2 | tim || 3 | hannah || 4 | samuel || 1 | jacob |+----+--------+mysql> select * from t2 ;+----+...

hive 中几个by的区别group by：聚合函数分组，不排序。order by：全局排序sort by：局部排序（每个reducetask的结果中有序）每一组是有序的，但全局不一定有序。distribute by：分桶有多个文件，全局排序，难度很高，所以采取分桶排序。cluster by：分桶如果distribute by后面的字段 和 sort by 后面的字段一致，则：d...

hive 窗口函数/分析函数/开窗函数 over （以用户访问流量为例）题目：现有这么一批数据，现要求出：每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数三个字段的意思：用户名，月份，访问次数A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,20...

hive 窗口分析函数 over学生表student：求：每个部门年龄最大的2个人的信息。方法1：方法2：学生表student：hive> select * from student;OKstudent.id student.name student.sex student.age student.dept95002 刘晨 女 1...

hive 的查询操作几个参数设置参数hive 的查询语法首先，进入hive cli后，输入命令： set hive.cli.print.header=true;设置输出结果显示表头。几个参数设置参数In order to change the average load for a reducer (in bytes):每一个reducetask最终能够加载的数据量set hive.exe...

hive 的基本操作hive的ddl操作数据库的操作表的操作1）建表2）查看表列表3）查看表的详细信息4）修改表4.1 修改表的列信息4.1.1 修改表的列名、类型4.1.2 添加列4.1.3 替换列4.1.4 删除列4.2 修改表的分区信息hive的dml操作hive的ddl操作DDL：data define language 数据定义语言数据库的操作1）创建数据库create da...

hive的一些常用函数nvlnvl首先在hive里输入：desc function nvl；出现提示：nvl(value,default_value) - Returns default value if value is null else returns value如果value值为null，则返回default值，不为null，则返回value值。eg：select nvl...

HIVE 笔记hive的数据倾斜hive的数据倾斜什么是数据倾斜？由于数据分布不均匀，造成数据大量集中于一点，造成数据热点。hadoop框架特性不怕数据量大，怕数据倾斜jobs 数比较多的作业，运行效率相对比较低，例如 子查询比较多。sum、count、max、min等聚集函数，通常不会有数据倾斜问题。数据倾斜的主要表现：任务长时间维持在95%～100%之间，或者100%附近，...