Hive
关注
分享
扫一扫
文章平均质量分 75
Hive基础知识和操作介绍
勤奋的ls丶
这个作者很懒，什么都没留下…
展开
-
SQL之断点连续问题
1001 2022-04-021001 2022-04-041001 2022-04-051001 2022-04-071001 2022-04-111001 2022-04-121001 2022-04-141002 2022-04-031002 2022-04-051002 2022-04-071002 2022-04-091002 2022-04-111002 2022-04-151002 2...原创 2022-04-11 11:11:51 · 981 阅读 · 0 评论 -
Hive之例题
1.统计视频观看数Top10select videoId, rank()over(order by views desc)from gulivideo_orclimit 10+--------------+----------------+| videoid | rank_window_0 |+--------------+----------------+| dMH0bHeiRNg | 1 || 0XxI-hvPRRA | 2 .原创 2021-12-28 22:49:25 · 450 阅读 · 0 评论 -
Hive介绍之简易优化
一、抓取抓取（Fetch）：表示Hive在某些查询情况下不需要进行MR操作，可以通过简单的读取对应的表输出到控制台。 命令：hive.fetch.task.conversion模式： 0. none : disable hive.fetch.task.conversion 1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only 2. more ...原创 2021-12-26 17:09:55 · 185 阅读 · 0 评论 -
Hive之压缩和存储
目录1.如何开启Map输出阶段压缩2.如何开启Reduce输出阶段压缩3.文件存储格式TextFile格式Orc格式Parquet格式实验总结1.如何开启Map输出阶段压缩开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：（1）开启hive中间传输数据压缩功能（hive本身也希望自己控制下压缩） set hive.exec.compress.intermediate=true;（2）开启mapreduce中m原创 2021-12-24 19:16:28 · 112 阅读 · 0 评论 -
Hive之函数
一、系统内置函数日期类unix_timestamp:返回指定时间的时间戳select unix_timestamp('2021-12-23 12-51-25','yyyy-MM-dd HH-mm-ss');from_unixtime：将时间戳转化为具体时间 select from_unixtime(1640263885);current_date：当前日期 select current_date;current_timestamp：当前的日期加时间带毫秒to_date：抽取日期部分 sel原创 2021-12-24 18:52:20 · 834 阅读 · 0 评论 -
Hive之分区表和分桶表
目录一、分区表1.分区表的基本操作2.创建二级分区数据修复3.动态分区二、分桶表一、分区表Hive中的分区表就是分目录，分区表对应的就是HDFS文件系统上的独立的文件夹，分区就是把一个大的数据根据某些条件分成几个小的数据集。1.分区表的基本操作//创建一个分区表，注意day作为分区字段不能存在于表中create table dept_partition(deptno int, dname string, loc string)partitio...原创 2021-12-23 11:10:59 · 1644 阅读 · 0 评论 -
Hive之查询操作
目录一、查询总述select执行顺序二、基本查询重命名算术运算符常用函数Limit语句Where语句比较运算符Like和RLike逻辑运算符三、分组查询Group By语句Having语句四、Join语句等值Join内连接左外连接右外连接满外连接多表连接笛卡尔积五、排序全局排序（Order By）重命名排序多个列排序每个Reduce内部排序（Sort By）分区distribute by分区排原创 2021-12-22 20:51:56 · 2042 阅读 · 0 评论 -
Hive之DDL、DML数据操作
目录一、DDL(Data Definition Language 数据库定义语言)1.创建数据库2.查询数据库3.修改数据库4.删除数据库5.创建表管理表（内部表）外部表两个表的相互转换修改表删除表清除表二、DML数据操作1.数据导入向表中装载数据（Load）通过查询语句向表中插入数据（Insert）查询语句中创建表并加载数据（As Select）创建表时通过Location指定加载数据路径Import数据到指定Hive表中2.原创 2021-12-22 19:20:50 · 967 阅读 · 0 评论 -
Hive的基本数据类型和集合数据类型以及类型的转换
目录一、基本数据类型二、集合数据类型实例三、类型转换一、基本数据类型 HIVE MySQL JAVA 长度 例子 TINYINT TINYINT byte 1byte有符号整数 2 SMALINT SMALINT sho原创 2021-12-22 18:14:21 · 575 阅读 · 0 评论 -
Hive和数据库的区别
Hive和数据库比较由于Hive采用了类似SQL的查询语言HQL(Hive Query Language)，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。查询语言由于SQL被广泛的应用在数据仓库中，因此，专门针对Hi...原创 2021-12-21 19:57:21 · 194 阅读 · 0 评论 -
Hive基本概念和安装
目录一、Hive的基本概念1.Hive简介2.Hive的优缺点3.Hive架构原理工作机制：二、Hive安装1.安装地址2.安装部署3.mySQL安装4.Hive元数据配置到MySql配置Metastore到MySQL5.使用元数据服务的方式访问Hive6.使用JDBC方式访问Hive7.Hive常用交互命令8.Hive其他命令操作9.Hive常见属性配置Hive运行日志信息配置:Hive启动jvm堆内存设置一、Hive的基本概念原创 2021-12-21 19:55:13 · 236 阅读 · 0 评论