
HiveSQL学习
文章平均质量分 93
经常在写sql的时候提笔忘语法规则,开个模块来mark下常用的sql用法
piepis
DT时代的一块砖
展开
-
Hive数据库操作
创建和列表数据库 hive > CREATE DATABASE financials; hive > CREATE DATABASE IF NOT EXISTS financials; # IF NOT EXISTX 会做一个覆盖检查 hive > SHOW DATABASES; #列出当前数据库 #default 默认数据库。初始化就有的 hive > SHOW DATABASES LIKE 'd.*' #like 匹配 改变数据库存放路径 缺省存放目录由hiv原创 2020-09-23 19:01:40 · 191 阅读 · 0 评论 -
Hive常用函数
IF函数:if 语法: if(testCondition,valuTrue,valueFalseOrNull)说明:当条件 testCondition 为True时,返回valueTrue, 否则返回valueFalseOrNull 条件判断函数:CASE 语法: Case A when b THEN c [WHEN d THEN e] * [ELSE f] END说明:如果a 等于 b,那么返回c,如果a等于d,那么返回e,否则返回f eg: -- 销售类型增加一级部门的prt_distributio原创 2020-09-23 18:58:25 · 1884 阅读 · 0 评论 -
HiveTable操作命令
hive执行参数 命令行直接执行HQL hive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10" 执行HQL文件中的语句 hive -f emp.hql hive -f /home/my/hive-script.sql ''' Example of running an initialization script before entering interactive mode 在进入交互模式之前运行初始原创 2020-09-23 18:37:32 · 538 阅读 · 0 评论 -
HiveSelect操作
保存select查询结果的几种方式 1.将查询结果保存到一张新的hive表中create table t_tmp as select * from t_p;2将查询结果保存到一张已经存在的hive表中 eg:(into 增量增加) insert into table t_tmp select * from t_p; #----------------------------------------------------- eg:(overwrite 覆盖增加) insert overwrite tabl原创 2020-09-23 18:24:12 · 1551 阅读 · 0 评论 -
HiveJoin操作
HiveJoin join_table: table_reference JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI JOIN table_reference join_condition | table_reference CROSS JOIN t原创 2020-09-23 18:15:03 · 423 阅读 · 0 评论 -
HiveCreatTable
目前在hive中常用的数据类型有: BIGINT – 主要用于状态,类别,数量的字段, 如status/option/type/quantity DOUBLE – 主要用于金额的字段, 如fee/price/bid STRING – 除上述之外的字段基本都使用String, 尤其是id和日期时间这样的字段LIKE 允许用户复制现有的表结构,但是不复制数据。如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCE 。表名和列名不区分大原创 2020-09-23 17:55:52 · 573 阅读 · 0 评论 -
HiveAlterTable
和我们熟悉的关系型数据库不一样,Hive现在还不支持在insert语句里面直接给出一组记录的文字形式,也就是说,Hive并不支持INSERT INTO …. VALUES形式的语句。 Drop Partitions(删除分区) alter table ol_power_product_line_dept_1_dim drop partition(dt='${date_90}');#删除分区 dfs -rm -r -f /ol/ol_power_product_line_dept_1_dim/dt=${dat原创 2020-09-23 17:46:47 · 465 阅读 · 0 评论 -
Hive&SQL的不同
Hive 和Mysql 一样,都对 大小写不敏感 Hive不支持等值连接 SQL中对两表内联可以写成: select * from dual a,dual b where a.key = b.key; Hive中应为 select * from dual a join dual b on a.key = b.key; IS [NOT] NULL SQL中null代表空值, 值得警惕的是, 在HiveQL中String类型的字段若是空(empty)字符串, 即长度为0, 那么对它进行IS NULL的判原创 2020-09-23 17:43:34 · 836 阅读 · 0 评论 -
Hdoop配置文件
作业配置 mapred.job.name 作业名 mapred.job.priority 作业优先级 mapred.job.map.capacity 最多同时运行map任务数 mapred.job.reduce.capacity 最多同时运行reduce任务数 hadoop.job.ugi 作业执行权限 mapred.map.tasks map任务个数 mapred.reduce.tasks reduce任务个数 mapred.job.groups 作业可运行的计算节原创 2020-09-23 17:40:49 · 159 阅读 · 0 评论