hive基础
小胖超凶哦!
睡觉了,别学了!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
旅游集市数仓建设
hive> create database ods; OK Time taken: 0.102 seconds hive> create database dwd; OK Time taken: 0.017 seconds hive> create database dwm; OK Time taken: 0.031 seconds hive> create database dws; OK Time taken: 0.017 seconds hive> ...原创 2022-04-10 21:52:17 · 594 阅读 · 2 评论 -
基于Hive数据仓库
Hive-数据仓库建模架构 Hive-数据仓库建模方式 1、分库分表,命名规范,库名以所在数据层开头命名,如:ods_dianxin_test 2、星型和雪花型建模 事实表维度表 id time addr device platform action item 我 今天上午9点 1 1 1 1 1 小明 今天上午9点 1 ...原创 2022-04-10 19:19:14 · 910 阅读 · 0 评论 -
员工练习三
15.列出所有部门的详细信息和部门人数。 hive> select t1.DEPTNO > ,t1.DEPTNAME > ,t1.DEPTADDR > ,t2.cnt > from dept t1 > left join( > select DEPTNO > ,count(distinct EMPNO)as cnt > from emp > group..原创 2022-04-09 10:49:07 · 115 阅读 · 0 评论 -
员工练习二
6. 列出所有“CLERK”(办事员)的姓名及其部门名称。 hive> select t1.EMPNO > ,t1.ENAME > ,t1.DEPTNO > ,t2.DEPTNAME > from( > select EMPNO > ,ENAME > ,DEPTNO > ..原创 2022-04-09 10:28:59 · 169 阅读 · 0 评论 -
员工练习一
员工信息表emp: 字段:员工id,员工名字,工作岗位,部门经理,受雇日期,薪水,奖金,部门编号 英文名:EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,BONUS,DEPTNO 部门信息表dept: 字段:部门编号,部门名称,部门地点 英文名:DEPTNO,DEPTNAME,DEPTADDR hive> create database test7; OK Time taken: 0.041 seconds hive> use test7; OK Time taken.原创 2022-04-08 21:40:40 · 585 阅读 · 0 评论 -
Hive With as 用法
hive> select t.id > ,t.name > ,t.clazz > ,t.score_id > ,t.score > ,c.subject_name > from( > select a.id > ,a.name > ,a.clazz .原创 2022-04-08 19:42:37 · 817 阅读 · 0 评论 -
Hive数据倾斜
hive> use test6; OK Time taken: 0.011 seconds hive> create table data_skew( > key string > ,col string > )row format delimited fields terminated by ','; OK Time taken: 0.166 seconds hive> load data local inpath '/usr/local/so.原创 2022-04-08 17:10:01 · 441 阅读 · 1 评论 -
自定义UDTF,Hive Shell
自定义UDTF package com.shujia.hive; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF; import org.apache.hadoop.hive.serde2.objecti.原创 2022-04-08 15:58:36 · 647 阅读 · 0 评论 -
Hive 行转列,Hive 列转行, UDF,UDTF
Hive 行转列 hive> create table testArray2( > name string, > weight array<string> > )row format delimited > fields terminated by '\t' > COLLECTION ITEMS terminated by ','; OK Time taken: 0.172 seconds hive原创 2022-04-07 21:56:08 · 408 阅读 · 0 评论 -
连续登陆问题
连续登陆问题 hive> create database test6; OK Time taken: 0.03 seconds hive> use test6; OK Time taken: 0.01 seconds hive> create table deal_tb( > id string > ,datestr string > ,amount string > )row format delimit原创 2022-04-07 16:56:30 · 489 阅读 · 0 评论 -
Hive练习一
模仿建表语句,创建subject表,并使用hdfs dfs -put 命令加载数据 hive> create table subject( > subject_id bigint comment '科目id' > ,subject_name string comment '科目名称' > ,subject_score bigint comment '科目总分' > ) row format delimited fields termi.原创 2022-04-07 15:40:17 · 171 阅读 · 0 评论 -
定义窗口帧
Hive 提供了两种定义窗口帧的形式:ROWS 和 RANGE。两种类型都需要配置上界和下界。例如,ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW 表示选择分区起始记录到当前记录的所有行;SUM(close) RANGE BETWEEN 100 PRECEDING AND 200 FOLLOWING 则通过 字段差值 来进行选择。如当前行的 close 字段值是 200,那么这个窗口帧的定义就会选择分区中 close 字段值落在 100 至 400 区间的.原创 2022-04-07 15:08:17 · 331 阅读 · 0 评论 -
Hive常用函数
If hive> select if(1>0,1,0); OK 1 Time taken: 0.454 seconds, Fetched: 1 row(s) hive> select if(1>0,if(-1>0,-1,1),0); OK 1 Time taken: 0.438 seconds, Fetched: 1 row(s) hive> select score,if(score>120,'优秀',if(score>100,'良好',if(scor原创 2022-04-07 11:36:12 · 513 阅读 · 0 评论 -
DQL,order by, sort by,distribute by,cluster by
DQL hive> create database test5; OK Time taken: 0.538 seconds hive> use test5; OK Time taken: 0.013 seconds hive> create table students( > id bigint comment '学生id', > name string comment '学生姓名', > age int comme原创 2022-04-07 10:09:24 · 804 阅读 · 1 评论 -
array,map,struct
hive> select * from students limit 10; OK 1500100001 施笑槐 22 女 文科六班 1500100002 吕金鹏 24 男 文科六班 1500100003 单乐蕊 22 女 理科六班 1500100004 葛德曜 24 男 理科三班 1500100005 宣谷芹 22 女 理科五班 1500100006 边昂雄 21 男 理科二班 1500100007 尚孤风 23 女 文科六班 1500100008 符半双 22 女 理科六班 1500100009.原创 2022-04-06 22:07:12 · 250 阅读 · 0 评论 -
分区,分桶,JDBC
分区 hive> create database test3; OK Time taken: 0.051 seconds hive> use test3; OK Time taken: 0.011 seconds hive> create external table students_pt1 > ( > id bigint, > name string, > age int, > .原创 2022-04-06 21:22:37 · 1160 阅读 · 0 评论 -
建表语句,内部表,外部表
q原创 2022-04-06 19:23:07 · 1260 阅读 · 0 评论 -
HiveQL,存储格式
查询语言 HiveQL SQL 数据存储位置 HDFS RawDeviceor本地FS 数据格式 用户定义 系统决定 数据更新 不支持(1.x以后版本支持) 支持 索引 新版本有,但弱 有 ...原创 2022-04-06 10:54:39 · 772 阅读 · 0 评论 -
Hive配置
[root@master ~]# ls ac.sh 模板 anaconda-ks.cfg 视频 apache-hive-1.2.1-bin.tar.gz 图片 dump.rdb 文档 initial-setup-ks.cfg ...原创 2022-04-02 17:00:52 · 926 阅读 · 0 评论
分享