HIVE常用sql

最新推荐文章于 2023-11-07 09:01:13 发布
最新推荐文章于 2023-11-07 09:01:13 发布
阅读量238 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop-hive 文章标签： hive hadoop hive脚本 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangaz521/article/details/79641605
1.新增分区：
    ALTER TABLE table_name ADD PARTITION (dt='2016-09-12');
2.删除分区：
    ALTER TABLE login DROP IF EXISTS PARTITION (dt='2008-08-08');
3.复制表
    CREATE TABLE IF NOT EXISTS table_name AS (SELECT field1,field2  FROM table_name)；
4.新增字段
    ALTER TABLE tableName ADD COLUMNS (field string  COMMENT '描述')； 
hivesql常用优化技巧
加油小白的博客
02-02 2166
一、列裁剪与分区裁剪 1.列裁剪（只查询需要的字段，千万不要直接写 select * from） 列裁剪就是在查询时只读取需要的列。当列很多或者数据量很大时，如果select所有的列或者不指定分区，导致的全列扫描和全表扫描效率都很低。 2.分区裁剪（有分区条件的一定要加上分区条件【如：dt...】） 分区裁剪就是在查询时只读需要的分区。 二、排序技巧–distribute by 与sort by 配合使用代替 order by order by：将结果按某个字段全局排序，导致所有map端数据都进入一个r
Hive中SQL详解
07-17
Hive中SQL详解
Hive——3、hive中的常用sql
s_hizhi的博客
08-11 217
Hive ——3、hive中的常用sql
hive 常用sql
zhanling1990
03-01 206
复制拷贝表及数据（内部表）： create table [table] as select * from [oldtable]; 修改列名或类型: alter table [table] change [column] [newcolumn][datatype];-- int 是数据类型的一种 插入数据： insert into table [table]select...
个人认为Hive常用到的SQL命令
shendefu的博客
10-21 347
Hadoop Spark 之Hive的SQL
hive常用语句
窗外的屋檐
02-26 2931
1、创建一张外部分区表（分区需要另外添加） CREATE EXTERNAL TABLE `ext_base_click`( `reqid` string, `adslotid` string, `ip` string, `timestamp` string, `adgroupid` string, `lbs` string) PARTITIONED BY ( `d...
Hive常用建表SQL
11-18
Hive的建表SQL
Hive学习总结及应用.pdf
11-23
它提供了类似SQL的查询语言HQL（Hive Query Language），使用户可以轻松地对大规模数据进行查询和分析。 二、Hive中的表 Hive中的表可以分为托管表和外部表。托管表的数据移动到数据仓库目录下，由Hive管理；外部...
hive常用的开发规范
04-27
以下是一些常用的 Hive 开发规范： 1. **数据开发规范** - **Hive 数据目录规范** - **分区键命名**：月分区键应命名为 `month`，日分区键应命名为 `day`。创建分区时，分区键不应与表字段名称相同。 - **HDFS ...
Hive常用的SQL命令操作[定义].pdf
10-11
Hive 常用的 SQL 命令操作 Hive 是一个基于 Hadoop 的数据仓储工具，提供了类似于 MySQL 的 SQL 查询语言，支持各种复杂的数据操作。下面是 Hive 中常用的 SQL 命令操作。 1. 查看所有函数 Hive 提供了很多的函数...
hive常用sql整理
xubc的大数据笔记
02-04 1469
Hive常用的sql整理，方便快速查找使用 1.创建Hive表 CREATE TABLE if not exists edw_applications.dws_test_table ( cid string, event_code int, event_date string, house_
大数据入门与实战-Hive 常见SQL、技巧与问题
yanqianglifei的专栏
05-28 687
1 常见SQL 取数据库前100条数据 select * from table order limit 100; -随机取100条数据 select * from table order by rand() limit 100; select * from table limit 100; 2 常见方法 宏的使用 宏可以看做是一个简短的函数...
一文学完所有的Hive SQL（两万字最全详解）
大数据星球-浪尖
11-07 9806
Hive SQL 大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表，分区表和分桶表二、DQL语句（数据查询语句）：单表查询、关联查询hive函数：包含聚合函数，条件函数，日期函数，字符串函数等行转列及列转行：lateral view 与 explode ...
大数据Hive系列之Hive常用SQL
飞翔的博客
08-22 1万+
1. hive导出数据到hdfs 语法：export table 表名 to '输出路径'; 例子：export table cloud.customer to '/tmp/hive/customer'; 2. beeline连接 $ beeline 语法：beeline> !connect jdbc:hive2://主机名:10000 用户名 密码 例子：beeline&g...
Hive常用的基础sql语法（DDL）
01-04 4074
对于Hive的学习，官网可以说是最详细不过的了；不仅仅是Hive，对于大部分大数据的组件能够理解官网所介绍的那你估计就是大牛级别的了！下面我们就对官网上给我们列出的sql语法进行进一步了解。 首先了解下Hive的数据存储结构，如下图： 1. Database:Hive中包含了多个数据库，默认的数据库为default，对应于HDFS目录是/user/hadoop/hive/warehou...
Hive - 常用sql整理
qq_34735235的博客
01-28 2085
一、实现13位时间戳转毫秒时间类型 select concat(t,".",substring(1611231717343,11,13)) from( select from_unixtime(cast(substring(1611231717343,0,10) as bigint),'yyyy-MM-dd HH:dd:ss') as t)tmp;
hive常用sql语句写法
maenlai0086的博客
05-27 2536
##########group_concat,concat_ws,collect_list,collect_ws函数用法############ group_concat替代写法 concat_ws('|', collect_set(str)) select user,concat_ws(',' , collect_set ( concat ( order_type , '(' , order...
常用的hive sql函数总结
热门推荐
Linzhongyilisha的专栏
04-26 1万+
1.nvl(x,y)   Returns y if x is null else return x 2. string A || string B || …(同concat函数) 3.T decode(条件,值1,返回值1,值2,返回值2,...值n,返回值n,缺省值) 4.int  INSTR((string,str[,start][,appear])    返回string
常见sql整理 常见hive sql整理
码厦（微信号）
12-09 791
1.求两个时间间隔在一定范围内的所有数据 selec t UNIX_TIMESTAMP(endDateTime) - UNIX_TIMESTAMP(beginDateTime)) uid from tblName where UNIX_TIMESTAMP(endDateTime) - UNIX_TIMESTAMP(beginDateTime)) > 4 2.求第二大的数 去重后的 来自leet
hivesql常用函数
最新发布
01-15
### HiveSQL 常用内置函数 #### 数学函数 Hive 提供了一系列用于数值计算的数学函数。这些函数可以处理基本算术运算以及更复杂的数学操作。 - `ABS(x)` 返回绝对值[^2] - `CEIL(x)` 或者 `CEILING(x)` 向上取整返回最小的大于等于 x 的整数[^2] - `FLOOR(x)` 向下取整返回最大的小于等于 x 的整数 ```sql SELECT ABS(-10), CEIL(3.14), FLOOR(3.14); ``` #### 字符串函数 字符串处理是数据分析中的常见需求，因此 Hive 支持多种字符串操作函数： - `CONCAT(str1,str2,...)` 将多个字符串连接成一个字符串 - `UPPER(str)` 把给定的字符串转为大写形式 - `LOWER(str)` 把给定的字符串转为小写形式 ```sql SELECT CONCAT('hello', 'world'), UPPER('hive'), LOWER('HIVE'); ``` #### 聚合函数 为了方便汇总统计数据，Hive 实现了几种重要的聚合功能： - `SUM(col)` 计算列 col 所有记录之和 - `COUNT(*)` 统计表中总行数；`COUNT(DISTINCT col)` 只统计不同值的数量 - `AVG(col)` 平均值计算 ```sql SELECT SUM(salary), COUNT(*), AVG(age) FROM employees; ``` #### 日期时间函数 对于涉及时间和日期的操作，Hive 提供了一些实用工具来简化这类任务： - `FROM_UNIXTIME(unixtime[,format])` Unix 时间戳转换为人可读的时间格式 - `UNIX_TIMESTAMP([date][,pattern])` 获取当前Unix时间戳或将特定日期转化为Unix时间戳 ```sql SELECT FROM_UNIXTIME(UNIX_TIMESTAMP(), '%Y-%m-%d %H:%i:%s') AS now_time; ``` #### 窗口函数 除了上述标准函数外，Hive 还引入了窗口函数的概念，允许执行更加灵活高效的查询逻辑。通过定义不同的窗口框架，可以在不改变原始数据集的情况下实现复杂的关系型计算。 - 使用 `ROW_NUMBER()` 函数配合 `OVER(PARTITION BY ... ORDER BY ...)`, 对分区内每条记录分配唯一编号[^3] ```sql WITH ranked_activities AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY id, activity, cust_group ORDER BY expired_at DESC) as rn FROM tb_activity_full ) SELECT * FROM ranked_activities WHERE rn = 1; ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值