hive入门4——限制条件能用or吗？

最新推荐文章于 2024-06-21 08:45:00 发布
最新推荐文章于 2024-06-21 08:45:00 发布
阅读量1.7k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： NLP与推荐算法 文章标签： where hive 推荐数据处理 点击日志 用户画像
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SPESEG/article/details/106516658
本文探讨了在Hive查询中，WHERE子句是否可以使用OR条件的问题。通过实验发现，单个分区使用OR可以执行，但多个分区条件用OR会导致错误。群里的专家建议使用括号来组织条件，实验证明这确实有效。然而，对于不断更新的数据，直接使用实时更新的表更为合适。此外，作者还分享了如何将点击日志和用户画像结合，以便更高效地检索信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hive入门系列：开始，继续，进行

昨天想到了在where限制条件中能否用or，一般都是用and。。。。。。

本菜鸟尝试下就知道了，如下：

单个分区510和528的，以及or的结果

单个的可以执行，当用or的时候出错了，，，，，，分区用and也不行啊，没出错，但是你想想，一个参数即等于510，又等于528，这怎么有结果啊。。。

java.lang.OutOfMemoryError: GC overhead limit exceeded
	at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper.java:648)
	at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper.java:823)
	at org.apache.hadoop.hdfs.protocolPB.PBHelper.convertLocatedBlock(PBHelper.java:1284)
	at org.apache.hadoop.hdfs.protocolPB.PBHelper.convert(PBHelper
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive系列之——Hive特性解析并与传统数据库对比
bingchenwurao的博客
11-17 904
文章目录Hive入门详解及主要特点总结Hive概述Hive原理Hive的DDL语句：hive的DQL操作 Hive入门详解及主要特点总结 本文主要总结HIve自身的一些特点，并对其中的一些点和传统数据库做对比，能够更好的理解Hive。 Hive详细入门介绍看下方链接，有原理，有案例，讲的很通俗移动。 链接易学教程——Hive入门详解 Hive概述 Hive是Hadoop上的数据仓库工具，处理的是结...
小白的大数据入门路——Hive学习笔记
5akura's Blog
08-04 3602
文章目录一、Hive基本概念1.1、什么是Hive1.2、Hive的优缺点1.3、Hive架构原理1.4、Hive对比数据库二、Hive安装2.1、安装包准备2.2、相关配置和启动2.3、本地文件导入Hive2.3.1、Linux本地文件导入2.3.2、HDFS文件导入2.4、安装MySQL2.5、Hive的JDBC访问（了解）2.6、Hive常用交互命令2.7、Hive常见属性配置2.7.1、常用配置参数2.7.2、修改配置的方式三、Hive数据类型3.1、基本数据类型3.2、集合数据类型3.3、数据类型
hive：条件：where and or
不花的花和尚的博客
06-24 1万+
业务场景：过滤出某些时间字段 时间在2018年后或者此字段数据为空的数据（注意此种情况不能写成只大于2018年1月1日，注意null的情况也要查出来） 注意：and后需要加括号将or两端的条件括起来 where aec.addtime BETWEEN '2019-01-01' AND '2019-06-23' and aec.status!='加入项目' and aec.status!...
hive查询where join_Hive系列（4）：常用函数where，join
weixin_39524425的博客
12-22 221
13 case…when…thencase when…then…else…end类似于decode14 谓词操作符15 like和rlikerlike可以利用复杂的正则表达式，like可以利用%s,s%,%s%，其中s为匹配的内容16 类型转换cast(…as…)17 where的注意事项where语句中不能使用列别名，但是可以使用嵌套的sql语句18 join连接只能支持等值连接，不支持在on语...
Hive--OR-AND使用方法
修行的博客
11-10 4565
OR-AND 数据源： 1,22 1,21 2,22 1,20 select * from id_age where (id=1 or id =2) and age=22; 表示： 查询id=1,同时age=22或者id=2,同时age=22的数据,数据只要id=1或者id=2都要加age=22这个条件 即id=1 and age=22/id=2 and age=22 显示结果： 1,22 2,22 select * from id_age where id=1 or id =2 an
Hive优化---or
Today_2018的博客
02-24 1266
优化前 select count(b.user_initial_ccid) from dwd.dwd_ccid_register_a a left join audience_data_service.sys_user_all b on ((b.user_id=a.union_id_md5 and b.user_type_id=15) or (b.user_id=a.mobile_md5 and b.user_type_id=16) or (b.user_id=a.email_md5 and b.use
hive逻辑运算符中的坑——or、and
luo981695830的博客
11-06 2009
逻辑计算 where a != "" or a is not null and b != "6" 查询结果284 where (a != "" or a is not null) and b != "6" 查询结果219
万字长文——最详Hive入门指南
weixin_45604606的博客
03-13 584
万字长文——最详Hive入门指南 Hive基础 Hive简介 产生原因 对存在HDFS上的文件或Hbase中的表进行查询时，是要手写一堆MapReducec代码； 对于统计任务，只能由懂MapReduce的程序员才能完成； 耗时耗力，更多精力没有有效的释放出来； 基于以上原因，Hive就此诞生了，Hive基于一个统一的查询分析层通过sql语句的方式对HDFS上的数据进行查询、统计和分析。 Hive的本质就是一个SQL解析引擎，将SQL语句转换成MR job。 Hive的定位是Hadoop大数据仓库，而S
58.Impyla客户端连接Hive和Impala——Python
大勇若怯任卷舒
10-18 732
58.1 演示环境介绍 CDH集群环境正常运行，非安全集群环境 Anaconda已安装并配置环境变量 pip工具能够正常安装Python包 Python版本2.6 or 3 CM和CDH版本：5.11.2 RedHat：7.2 58.2 操作演示 Impyla依赖包安装，Impyla所依赖的Python包： six bit_array thrift (on Python 2.x) orthriftpy (on Python 3.x) thrift_sasl sasl 首先安装Impyla依赖的
hive sql分区和条件优化
zhaomeng1123的专栏
02-17 7960
分区过滤 如果不加分区，默认会扫描整个表的数据 如何查看表有哪些分区：show partitions databaseName.tableName 如何确认分区是否生效：explain dependency sql 分区放置位置 普通查询，分区过滤放在where后面，如 select * from table1 t1 where t1.date between '20151205' and '2
hive学习之二：hive sql使用总结及遇到的问题
热门推荐
A coder of life
05-12 1万+
1.hive在连接中不支持不等值连接，不支持or，where条件后不支持子查询。分别举例如下及实现解决办法。   1.1.不支持不等值连接        错误:select * from a inner join b on a.id        替代方法:select * from a inner join b on a.id=b.id and a.id is null;   1.2.不
hive:条件判断函数
diaomu5377的博客
10-09 207
参考hive常用运算。 •If函数: if •非空查找函数: COALESCE •条件判断函数：CASE •If函数: if 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFal...
HIVE SQL解决JOIN OR的问题
lemon_linaa的博客
01-28 1万+
hive sql不支持 join on 的条件后跟or，使用union all，并去重插入表 INSERT INTO TABLE tableName1 PARTITION (stat_month='${hiveconf:stat_month}' , stat_date='${hiveconf:stat_date}' , stat_hour='${hiveconf:stat_hour}') ...
hive基础知识or基本操作命令
weixin_34245082的博客
06-24 615
MySQL的密码是:123456 1、hive创建标准表（以后均可以按照这样创建）： 　　create table records （year STRING，temperature INT，quality INT） 　　row format delimted 　　fields terminated by ‘\t’; 解析：第一行声明一个records表，包括三列（3个字段）：year，t...
大数据---29. hive的常用函数（一(最全的函数操作)）
u014579001的博客
07-29 8385
hive的常用函数（一(最全的函数操作)）
HiveQL中where后面的and 和or 处理
VLTIC的专栏
07-17 6996
昨天我在尝试写一个很简单的HiveQL：语句如下 select ,a.ver,a.vid,a.wid,a.type,count(*) from (select stat_date,ver,get_json_object(json,"$.vid") as vid,get_json_object(json,"$.wid") as wid,get_json_object(json,"$.type"
Hive中and和or的执行顺序
数据之美的博客
05-23 6114
今天在网上看到hive中and的执行优先级比or高，觉得很奇怪，于是就亲自尝试了一下，发现果然如此，下面是我测试的一些简单语句： select1 from student where 1=0 or 1=1 and 1 = 0; 执行结果为空 select 1 from student where 1=0 or 1=1 and 1 =1; 执行结果为1 第二个select语句毫无疑问w...
hive问题总结
小小良
08-02 927
hive sql使用总结： 1.hive在连接中不支持不等值连接，不支持or，where条件后不支持子查询。分别举例如下及实现解决办法。 1.1.不支持不等值连接 错误:select * from a inner join b on a.id<>b.id 替代方法:select * from a inner join b on a.id=b.id ...
hive优化之逻辑类似or逻辑重复
wowulita123的博客
06-21 510
hive优化之逻辑类似重复
HIVE 中ON条件不能用OR怎么办
最新发布
09-19
Hive SQL查询语言默认不支持`OR`关键字用于ON子句的条件表达式，因为Hive的ON子句主要用于JOIN操作时指定匹配的条件，通常使用等值连接(`=`)或其他布尔运算符。如果你需要表示逻辑“OR”，你可以采取以下几种方法： 1. **使用UNION ALL**：先分别设置两个条件的查询，然后用UNION ALL将结果合并。例如： ```sql SELECT * FROM table1 WHERE condition1 UNION ALL SELECT * FROM table1 WHERE condition2; ``` 如果你需要过滤掉重复行，再用DISTINCT。 2. **嵌套查询**：可以使用子查询结合AND来达到类似的效果： ```sql SELECT * FROM table1 WHERE (condition1 OR condition2); ``` 3. **CASE WHEN**：创建一个 CASE WHEN 语句来检查每个条件是否满足，然后返回相应的结果： ```sql SELECT * FROM table1 WHERE case when condition1 THEN true ELSE false end = true AND case when condition2 THEN true ELSE false end = true; ``` 4. **临时表**：如果条件复杂，也可以考虑创建一个临时表存储中间结果，然后再进行JOIN操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值