hive查过的问题

1、日期函数

转自大神 http://www.oratea.net/?p=944

无论做什么数据,都离不开日期函数的使用。

这里转载一下Hive的日期函数的使用,写的相当完整。

 

日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, string format]) 
返回值: string
说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式
举例:
hive> select from_unixtime(1323308943,'yyyyMMdd') from dual;
20111208

获取当前UNIX时间戳函数: unix_timestamp语法:   unix_timestamp() 
返回值:   bigint
说明: 获得当前时区的UNIX时间戳
举例:
hive>   select unix_timestamp() from dual;
1323309615

日期转UNIX时间戳函数: unix_timestamp语法:unix_timestamp(string date) 
返回值:   bigint
说明: 转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败,则返回0。
举例:
hive>   select unix_timestamp('2011-12-07 13:01:03') from dual;
1323234063

指定格式日期转UNIX时间戳函数: unix_timestamp语法:   unix_timestamp(string date, string pattern) 
返回值:   bigint
说明: 转换pattern格式的日期到UNIX时间戳。如果转化失败,则返回0。
举例:
hive>   select unix_timestamp('20111207 13:01:03','yyyyMMdd HH:mm:ss') from dual;
1323234063

日期时间转日期函数: to_date语法:   to_date(string timestamp) 
返回值:   string
说明: 返回日期时间字段中的日期部分。
举例:
hive>   select to_date('2011-12-08 10:03:01') from dual;
2011-12-08

日期转年函数: year语法:   year(string date) 
返回值: int
说明: 返回日期中的年。
举例:
hive>   select year('2011-12-08 10:03:01') from dual;
2011
hive>   select year('2012-12-08') from dual;
2012

日期转月函数: month语法: month   (string date) 
返回值: int
说明: 返回日期中的月份。
举例:
hive>   select month('2011-12-08 10:03:01') from dual;
12
hive>   select month('2011-08-08') from dual;
8

日期转天函数: day语法: day   (string date) 
返回值: int
说明: 返回日期中的天。
举例:
hive>   select day('2011-12-08 10:03:01') from dual;
8
hive>   select day('2011-12-24') from dual;
24

日期转小时函数: hour语法: hour   (string date) 
返回值: int
说明: 返回日期中的小时。
举例:
hive>   select hour('2011-12-08 10:03:01') from dual;
10

日期转分钟函数: minute语法: minute   (string date) 
返回值: int
说明: 返回日期中的分钟。
举例:
hive>   select minute('2011-12-08 10:03:01') from dual;
3

日期转秒函数: second语法: second   (string date) 
返回值: int
说明: 返回日期中的秒。
举例:
hive>   select second('2011-12-08 10:03:01') from dual;
1

日期转周函数: weekofyear语法:   weekofyear (string date) 
返回值: int
说明: 返回日期在当前的周数。
举例:
hive>   select weekofyear('2011-12-08 10:03:01') from dual;
49

日期比较函数: datediff语法:   datediff(string enddate, string startdate) 
返回值: int
说明: 返回结束日期减去开始日期的天数。
举例:
hive>   select datediff('2012-12-08','2012-05-09') from dual;
213

日期增加函数: date_add语法:   date_add(string startdate, int days) 
返回值: string
说明: 返回开始日期startdate增加days天后的日期。
举例:
hive>   select date_add('2012-12-08',10) from dual;
2012-12-18

日期减少函数: date_sub语法:   date_sub (string startdate, int days) 
返回值: string
说明: 返回开始日期startdate减少days天后的日期。
举例:
hive>   select date_sub('2012-12-08',10) from dual;
2012-11-28


2、复杂数据结构 map array struct的使用

http://www.cnblogs.com/end/archive/2013/01/17/2863884.html


3、hive官方文档



<think>好的,用户想了解Hive查询中的锁表问题及解决方法。首先,我需要回忆Hive的锁机制。根据引用[4],Hive有两种锁:共享锁(S)和互斥锁(X)。S锁允许并发读,而X锁会阻止其他操作。比如,当有写入操作时,会加X锁,导致其他查询被阻塞。 接下来,用户提到的锁表问题可能出现在并发查询或写入时。需要解释锁表的原因,比如长时间运行的查询持有锁,或者没有正确释放。然后解决方案方面,引用[2]和[3]提到了几种方法:查看锁的状态,使用UNLOCK命令,或者在session中关闭并发支持。 还要注意用户提供的引用中有具体的SQL命令,比如SHOW LOCKS和UNLOCK TABLE,这些需要详细说明。另外,临时解决方案是通过设置hive.support.concurrency=false来避免加锁,但需提醒用户注意数据一致性的风险,尤其是非分区表。 可能用户是数据工程师或分析师,遇到Hive作业被锁的情况,需要快速解决。他们可能更关心如何检测锁、如何释放,以及预防措施。需要分步骤说明,例如先检查锁,再决定是否手动解锁或调整配置。 另外,引用[1]中的DELETE语句可能涉及直接操作Hive的元数据表,但这种方法可能有风险,需谨慎建议。需要比较不同方法的优缺点,比如直接解锁命令更安全。 最后,确保回答结构清晰,先讲锁的类型和原因,再讲解决方法,最后是预防措施。同时,生成的相关问题要围绕锁机制、优化和配置展开,帮助用户深入理解。</think>### Hive查询锁表问题及解决方案 #### 一、锁表原因分析 Hive的锁机制分为**共享锁(S锁)**和**互斥锁(X锁)**[^4]。 - **共享锁**:允许多个读操作并发执行(如`SELECT`),但会阻塞写入操作。 - **互斥锁**:独占资源(如`INSERT`、`ALTER`),会阻塞所有其他操作。 锁表常见场景包括: 1. 长时间运行的查询未释放锁 2. 并发写入操作冲突 3. 未正确关闭事务(如某些Hive版本的事务管理缺陷) --- #### 二、锁表检测方法 通过以下命令查看锁状态: ```sql -- 查看表锁 SHOW LOCKS <TABLE_NAME>; -- 查看分区锁 SHOW LOCKS <TABLE_NAME> PARTITION(dt='2023-01-01'); -- 查看具体SQL关联的锁(EXTENDED模式) SHOW LOCKS <TABLE_NAME> EXTENDED; ``` --- #### 三、解决方案 1. **手动释放锁** ```sql -- 释放表锁 UNLOCK TABLE <TABLE_NAME>; -- 释放分区锁 UNLOCK TABLE <TABLE_NAME> PARTITION(dt='2023-01-01'); ``` > **注意**:直接操作元数据库删除锁(如`DELETE FROM HIVE_LOCKS`)需谨慎[^1],可能导致元数据不一致。 2. **会话级锁绕过** 在查询前添加配置关闭锁机制: ```sql SET hive.support.concurrency=false; -- 强制忽略锁(适用紧急场景) ``` > **风险提示**:非分区表禁用锁可能导致数据一致性问题[^2]。 3. **优化查询与配置** - 缩短长事务执行时间 - 启用分区表减少锁粒度 - 调整`hive.txn.timeout`参数(默认300秒) --- #### 四、预防措施 | 措施 | 说明 | |---------------------|----------------------------------------------------------------------| | 分区表设计 | 缩小锁范围,避免全表锁 | | 异步写入 | 错峰执行`INSERT`/`ALTER`操作 | | 监控工具集成 | 通过Hive Metastore API或第三方工具(如Atlas)监控锁状态 | | 版本升级 | Hive 3.0+优化了锁机制,支持细粒度锁[^4] | ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值