记录Hive SQL的坑

最新推荐文章于 2023-05-22 10:33:59 发布
最新推荐文章于 2023-05-22 10:33:59 发布
阅读量241 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/androiddaren/article/details/128814827

场景：最近在实现一个scheduled task，其中用到一个sql查询相关数据，查询逻辑只是简单将A和B left join，但是在prob环境运行超级久都成功不了。
分析：从日志看以为是输出的数据量太大，资源紧张导致运行时间太久，后来发现是因为在查询A时，对其中的date字段筛选使用的是date = select max(date) from A，起初这样写因为A的生产时间不确定，为了保证自己任务定时能跑并且数据不为空，但是A是一个超级大的表，查询 date = select max(date) from A就很吃力
结论：慎用 select max(date) from A 这种，除非确定不会占用很多查询资源，可以退而求其次，使用CURRENT_DATE - INTERVAL ‘2’ day代替CURRENT_DATE - INTERVAL ‘1’ day

hive sql中的“坑”
我要学R
07-07 503
最近开始接触hive sql，在这之前从来没用过，所以刚开始用的时候总是我觉得代码没问题但是总报错，经过各种查询和调试最终才解决问题，其中费了不少功夫。好在现在已经慢慢熟悉起来，用起来顺手了很多，这里记录一下我踩过的一些“坑”。 1.不好用文字描述，这里直接举个例子： 当select语句中的日期这样处理：SELECT concat_ws('_', substr(date_time, 1, 4), substr(date_time, 5, 2), substr(date_time, 7, 2)) ASn.
Hive sql走过的坑
weixin_43852674的博客
04-25 1091
不要用in, 要遍历很多遍, 导致file过多午发计算. left join 的时候, 左边2条, 右边两条, left join / inner join 之后可能会有4条的情况.
Hive SQL 使用时的注意事项和一些踩过的坑
热门推荐
止鱼
02-10 1万+
1· Hive作为大数据平台下的sql语言极易上手，又难以精通，内部实现上，比如在Hadoop平台上，Hive会将sql转换为mp程序去处理 2· 由于sql被转换成了mp程序，在Hadoop中，一条sql会启动多个job, 而启动job任务是需要花费时间和机器资源的，所以在书写Hivesql时，要本着：尽量减少嵌套层次以减少job任务的原则 3· 每条group语句会多启动一个job, 所以
hive-sql遇到的一些坑
wonengguwozai的博客
01-13 395
聚合函数count 是忽略空值NULL的，对于逻辑值或者文本数据也将被忽略，只能对数字数据进行统计（加双引号没关系）。错误示范： 可以看出第二个查询中的错误：一方面count的统计本身去除了null不能这样统计，应使用if 判断给出数值进行统计，另一方面devicetoken本身为非数字，直接count也是统计不出来的。正确的方式 ...
hive，向数据库中写入数据没有结果的坑
leokingszx的博客
05-22 449
写了一个sql语句，单独select有结果，但使用insert into ....想把这些值存到数据库里，却不行。后来发现取出来的值是bigint类型却打算把它们存在是string类型的表中。
Hive SQL 避坑指南
lgc646300052的博客
12-03 282
待解决问题Hivewhere中能否使用existsleft join时左右表是多对多关系，结果集的记录数可能会大于左表两表中数值字段相减慎用join Hive 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 where中能否使用exists in 和 exists 哪个性能好？ 大集合应该放左边还是右边？ left join时左右表是多对多关系，结果集的记录数可能会大于左表 T1表
【数据库】HIVE SQL之JSON字符串解析的坑
J小白的博客
12-19 2461
对于hive对JSON字符串的解析小白在之前博文中已经有两篇做过详细的介绍了，这边博文主要记录一下，小白在工作中遇到的一个实例，巨坑。 案例如下： {"id":"23|38","index":"1","name":"高星好评","subfilters":,"type":"23"} 一眼看上去，是不是符合JSON字符串的风格，然后就开始解析 select filters,...
数分实习踩坑笔记：Hive SQL
weixin_43168138的博客
03-05 2721
数据分析笔记：Hive SQL，Excel等
hive中的坑(持续更新中)
没有合适的昵称
10-21 1150
Error: org.apache.spark.sql.AnalysisException: java.lang.IllegalArgumentExceptio ...
Hive SQL踩坑记录-NULL判断、字符串拼接、执行报错：Expression not in GROUP BY key
Viga的博客
06-18 734
记录在使用Hive SQL 过程中的错误信息 【Hive SQL踩坑记录】 对于NULL判断 select last_visit_day, case when last_visit_day is NULL then datediff('2021-06-01', '2021-05-01') else COALESCE(datediff(stat_dt, last_visit_day), 0) end as consecutive_days_without_access from
那些年，写hive sql时所踩过的坑
SK_Lavender的博客
09-30 6471
本文记述一些本人在用hive时，所遇到的一些大坑小坑，一是防止自己再次落坑，二是避免旁人也掉入进去。文章会不定时更新。
Hive中使用sql的注意事项
weixin_30572613的博客
09-13 381
一、别名的使用 1 定义别名：columnA as X 不需要使用单引号 2 使用别名：不与where同时使用 花式报错-->有说hive不支持where后使用别名 二、GROUP BY select m.makeName ,SUM(c) from (select t.makeId as id ,count(o...
hive学习笔记之七：内置函数，mybatis防止sql注入原理
m0_63174529的博客
10-31 449
locate log log10 log2 lower lpad ltrim map map_keys map_values matchpath max min minute month months_between named_struct negative next_day ngrams noop noopstreaming noopwithmap noopwithmapstreaming not ntile nvl or parse_url parse_url_tuple percent_rank p
基于Druid的HiveSQL血缘解析
master_hunter的博客
11-02 6310
我说过做Python的SQL解析算是一个对AST解析树的深入理解。没想到的是基于sqlparse的工具做出sql解析是可行的，这涉及到较多的递归和判断，但是我写的程序应对的SQL语句应该是不多的1，很多条SQL语句都没有测试完还是有一定的风险的。如果大家有想要解析的SQL可以私信发我，将免费提供SQL解析，如果程序功能和兼容性足够完善的话，将再出一篇文章把所有的解析过程详解。本篇文章主要讲述的是直接利用Druid的功能直接实现血缘解析，就不再过多的去解析其底层AST树的解析了，大致的做法都是相同的。
工作中写hivesql容易犯错误的事项
bigdata_users的博客
04-10 227
最近工作由于接业务事项较多，发现写sql及容易犯的事项，即便工作多年的老sqlboy，也会犯这种错误，特此总结一下： 1、null 字段不能做为关联字段，如果关联字段中有null，请用下边方式写，否则会丢失数据 nvl(a.col,'-')=nvl(b.col,'-') 2、where条件里的!= 会过滤值为null的数据 这个和1的情况处理方式一样 nvl(a.col,'-')!= 3、左连接写也会数据倾斜，需要将数据单独取出处理 数据量特别大的情况下连接也会出现数据倾斜，通常处理方式是将数据量特别
HIVE学习笔记-1
大数据工作的日常
09-01 1757
HIVE相关的学习笔记-HIVE出现的背景、数仓的出现、HIVE与RDBMS的对比、HIVE的优缺点。
Hive 大数据表性能调优
zjjcchina的博客
12-07 1029
HiveHive表是一种依赖于结构化数据的大数据表。数据默认存储在 Hive 数据仓库中。为了将它存储在特定的位置，开发人员可以在创建表时使用 location 标记设置位置。Hive 遵循同样的 SQL 概念，如行、列和模式。 在读取 Hadoop 文件系统数据或 Hive 表数据时，大数据应用程序开发人员遇到了一个普遍的问题。数据是通过spark streaming、Nifi streaming作业、其他任何流或摄入程序写入 Hadoop 集群的。摄入作业将大量的小数据文件写入 Hadoop 集群。这
join和子查询效率_如何进行hive查询优化？
weixin_39866974的博客
12-03 1650
hive查询优化的主要目的是提升效率。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。下面总结了查询中经常使用的优化点：1. 少用count(distinct ) 建议用group by 代替 distinct 。原因为count(distinct)逻辑只会有一个reducer来处理,即使设定了reduce task个数，set mapred...
Hivesql学习
最新发布
06-10
<think>嗯，用户想学习HiveSQL的使用和语法，还明确提到需要教程和入门指南。从历史记录看，用户已经了解过索引等数据库概念，但对Hive这个特定工具可能还是新手。用户给出的引用内容其实已经提供了很好的学习线索：引用2和3都提到了Hive的核心特点和基础语法，比如严格别名要求、与标准SQL的差异（子查询要用IN代替等）、以及它基于MapReduce的离线特性。用户应该需要系统性的学习路径。考虑到Hive的实际应用场景，教程设计需要突出三点：一是与普通SQL的差异点（比如分区表、严格模式），二是性能优化技巧（如分区裁剪），三是避免初学者踩坑（如忘记开启动态分区）。用户可能正在准备大数据方向的面试或实际项目，所以案例需要接近真实场景。上次回答数据库索引时用了数学公式解释B+树，这次在MapReduce原理部分也可以用类似方式说明数据分片计算，比如reduce阶段的数据分发公式$\text{reduce}_k=\bigcup_{m}\text{map}_m(k)$，但不宜过多以免分散注意力。需要特别提醒的是，根据引用3，Hive元数据存储在MySQL这类关系库，但数据本身在HDFS——这个架构特性决定了它的使用限制。很多初学者会在这里混淆，应该在“数据存储特点”部分强调。</think> 以下是一份全面且实用的Hive SQL学习指南，结合核心概念与高频实践场景，助你快速掌握： --- ### **一、Hive基础架构与特点** | **特点** | **说明** | |------------------|--------------------------------------------------------------------------| | **类SQL语法** | 支持标准SQL语法（如`SELECT`/`JOIN`/`GROUP BY`），学习成本低[^3] | | **存储与计算分离** | 数据存于HDFS，元数据存于MySQL等关系库[^3] | | **批处理导向** | 适用于PB级离线数据处理（实时计算需用Spark/Flink）[^3] | --- ### **二、核心语法精讲（附避坑指南）** #### 1. **数据查询** ```sql -- 基础查询（支持WHERE过滤） SELECT user_id, SUM(order_amount) FROM orders WHERE dt='20230615' -- 分区过滤加速查询 GROUP BY user_id HAVING SUM(order_amount) > 1000; -- 分组后过滤[^4] ``` #### 2. **子查询规范** ```sql -- ✅ 正确：使用IN代替= (Hive对等式子查询严格) SELECT * FROM users WHERE user_id IN ( SELECT user_id FROM vip_users ); -- ❌ 错误：直接使用= (报错) SELECT * FROM users WHERE user_id = (SELECT user_id FROM vip_users); [^2] ``` #### 3. **排序操作** ```sql -- 全局排序（Order By：需避免大表全排序） SELECT * FROM logs ORDER BY event_time DESC; -- 局部排序（Sort By：每个Reduce内排序） SELECT * FROM logs SORT BY event_time; ``` --- ### **三、高级特性实践** #### 1. **分区表优化** ```sql -- 建表时定义分区 CREATE TABLE logs ( ip STRING, url STRING ) PARTITIONED BY (dt STRING); -- 按日期分区 -- 查询时利用分区裁剪 SELECT * FROM logs WHERE dt BETWEEN '20230101' AND '20230107'; [^3] ``` #### 2. **动态分区写入** ```sql -- 开启动态分区 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; INSERT INTO TABLE logs PARTITION(dt) SELECT ip, url, dt FROM raw_logs; -- 自动按dt列值分区 ``` #### 3. **复杂数据类型操作** ```sql -- Map类型处理 SELECT user_id, preferences['language'] AS lang -- 获取Map中的值 FROM user_profiles; -- Array类型展开 SELECT user_id, skill FROM employees LATERAL VIEW EXPLODE(skills_array) t AS skill; [^3] ``` --- ### **四、性能调优关键点** 1. **数据倾斜处理** - **场景**：GROUP BY时某key数据量过大 - **方案**： ```sql SET hive.groupby.skewindata=true; -- 启用倾斜优化 ``` 2. **MapReduce优化** ```sql -- 控制Reduce数量 SET mapred.reduce.tasks=20; ``` 3. **存储格式选择** - ORC/Parquet格式 > TextFile（压缩+列式存储） --- ### **五、免费学习资源** 1. **官方文档**： [Apache Hive官方手册](https://hive.apache.org/) 2. **在线沙箱**： Hadoop生态试验场（需注册）提供完整Hive环境 3. **本地部署**： 使用Docker快速搭建Hive环境（教程见[^2]附录） > ⚠️ 注意：Hive执行引擎差异（Tez/Spark vs MR）可能导致语法细节不同，需确认环境配置 --- **
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值