HQL 工作bug总结

最新推荐文章于 2022-10-13 21:03:00 发布
最新推荐文章于 2022-10-13 21:03:00 发布
阅读量284 收藏
点赞数 1
分类专栏： Hive #HQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZZh1301051836/article/details/105135869
版权
本文深入探讨了HQL中常见的三个问题：distinct关键字的多字段去重机制、insertoverwrite语句对字段顺序的要求以及groupby分组时的限制。通过具体示例，帮助读者理解这些BUG的成因及如何避免。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HQL工作BUG总结

1 distinct

distinct后面跟多个字段时，会根据所有字段的组合进行去重。而不是只根据紧跟在distinct后面的那一个字段去重。

2 insert overwrite table

insert overwrite table a select xx1,xx2 from b
xx1，xx2的顺序必须与表a中字段的顺序相同，否则插进去的值位置对应错误。

3 select xx1,xx2 from t group by xx1,xx2

使用group by分组时，要求select 后面出现的列必须在group by中全部使用到。
这对group by来讲是个限制，可以使用collect_list()/collect_set()突破这种限制。Hive笔记之collect_list/collect_set（列转行）

hive: 优化配置及bug查询路径
皮皮blog
02-07 2079
mapper数量与输入文件的split数息息相关，在Hadoop源码org.apache.hadoop.mapreduce.lib.input.FileInputFormat类中可以看到split划分的具体逻辑。如果想增大mapper数，除了降低mapred.min.split.size之外，也可以调高mapred.map.tasks。参数mapred.min.split.size（默认值1B）和mapred.max.split.size（默认值64MB）分别用来指定split的最小和最大大小。
hadoop总结
zengxianglei的博客--手指星辰 奈何天！
07-10 1119
hadoop总结 Hadoop第一天 1.Vmwarey有三种模式：桥接模式 ，nat模式，host-only模式 一般情况下 用nat 2./etc是配置文件的目录/var是储存各种变化的文件。 3.修改主机名：vi/etc/sysconfig/network 修改原 hostname 为 newname 4.修改ip:/etc/sysconfig/network-scripts/ifcfg...
hive解析hql的bug，先记录下
洗洗睡吧
06-03 261
—结果不正确，只找到1号数据，平均数没有计算出来，都是6.1的数据 select platform,b.week_of_year ,content_type_id ,cast(avg(uv) as decimal(15,2)) as week_avg_uv ,cast(avg(pv) as decimal(15,2)) as week_avg_pv ,cast(avg(duration) as decimal(15,2)) as week_avg_duration ,cast(avg(l1_pai_uv)
HQL操作之--数据操作
凉茶铺的博客
10-13 1060
介绍了hive的数据导入导出操作
insert overwrite table 后面为什么不能用select *，怎么解决这个bug
u013039401的博客
06-10 5459
问题：两个同样的表结构的表，如果使用insert overwrite table select *会出现以下错误。 hive> insert overwrite table dwd.t_change partition (dt='2021-06-10') > select * > from ods.t_change; FAILED: SemanticException [Error 10044]: Line 1:27 Cannot insert i
hive中的常用函数及其优化
fengyu_lc的博客
04-26 594
一、Hive中的特殊数据类型 1、array类型 创建数据 vim /export/datas/array.txt zhangsan beijing,shanghai,tianjin wangwu shanghai,chengdu,wuhan,haerbin 创建表 create database db_complex; use db_complex; create table if not exists complex_array( name string, work_locations arr
HIbernate免注解实现操作数据库 及Hibernate3连接SQL的BUG解决办法
03-19
3. **SQL查询异常**: Hibernate的HQL或Criteria API执行出错时，应检查查询语法是否正确，以及实体类和映射文件的对应关系是否一致。 4. **实体状态异常**: Hibernate在操作实体时会根据其生命周期状态进行处理，...
2014-J2EE开发工作中遇到的异常问题及解决方法总结
rchm8519的专栏
11-30 2万+
本人做了近三年的J2EE开发工作，主要架构为SSH+MySQL+Tomcat，项目中也用到了一些第三方的开源工具或者中间件，工作中难免会遇到各种各样的异常问题，对于一些给我造成比较大的麻烦的问题，我习惯将他们和解决方案记录下来，以免下次遇到时再次东搜西找。这些问题有些可能并不是多难的技术问题，而只是容易被我们忽略而不易察觉的小问题，但是正因为不易察觉，它们往往会耗费我们比较多的时间，这点我相信很多
Hadoop之POC测试总结
weixin_34216196的博客
01-29 7142
POC测试总结一、 测试内容测试内容测试目的其他功能测试验证产品的自动部署安装、集成统一管理、运维监控功能是否完善、对SQL的支持能力（SQL-标准、事务支持能力、索引、存储过程、UDF），混合负载管理能力存储特性及多重分区能力组件测试验证产品的数据压缩存储特性、多种计算接口支持、对异构数据库支持、数据挖掘能力压缩对性能的影响性能测试测试产品的单查询性能和并发查询...
Hive 的insert into 和 insert overwrite
热门推荐
妙妙的博客
04-28 11万+
1、insert into 语句Hive> insert into table account select id,age,name from account_tmp;2、insert overwrite语句hive> insert overwrite table account2 select id,age,name from account_tmp;插入的数据: 001 20 zhangs
Hive Hql基本语法 全攻略
qq_15300683的博客
05-25 2万+
 Hive官网（HQL）语法手册（英文版）： https://cwiki.apache.org/confluence/display/Hive/LanguageManual一、Hive的数据存储　　1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）　　2、只需要在创建表的时候告诉 Hive 数据...
数仓-HQL规范
DCHAO的博客
06-14 652
好的开发规范是必不可少的。 1. 规范目的 养成良好的编程习惯 写出清楚、易懂、易维护的程序代码 提高代码质量与生产率 减少软件编码中的不必要的错误 2. 开发规约 所有查询必须指定具体字段 统一采用小写字母编码(不包含参数、注解)，遵循SQL 92语法标准 所有查询表名必须添加数据库名+表名 HQL文件一定要设置任务名名称 HQL【会话临时表】必须要在末尾删除 别名一定要加AS关键字,多表关联必须要AS别名 字符串用单引号包括 不能使用 SQL 必须经过验证，更新数仓再执行 SQL代码中严格禁止使用硬编码
几种保存Hive查询结果的方法
zhuce1986的专栏
09-29 3万+
很多时候，我们需要将Hive的查询结果
Hive之insert into 和insert overwrite
smallnetvisitor的博客
06-26 2917
insert into 和overwrite的用法： INSERT INTO TABLE tablename1 [PARTITION \ (partcol1=val1, partcol2=val2 ...)] \ select_statement1 FROM from_statement;   INSERT OVERWRITE TABLE tablename1 [PARTITION \...
一文搞定hive之insert into 和 insert overwrite与数据分区
su83362368的博客
11-10 10万+
版权声明：本文为博主原创文章，未经博主允许不得转载。 数据分区 数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区。 hive建立分区语法： create
Hive insert overwrite table xxx 与 insert into table xxx 区别
Difffate的技术随笔
06-08 5326
INSERT OVERWRITE will overwrite any existing data in the table or partitionINSERT INTO will append to the table or partition, keeping the existing data intact（完整无缺的）.    也就是说 overwrite会覆盖现有的数据，而into是直...
hive inser into 与 hive overwrite区别
继续微笑lsj
04-21 5827
1、insert  into 语句 hive> insert into table userinfos2 select id,age,name from userinfos; 2、insert overwrite语句 hive> insert overwrite table userinfos2 select id,age,name from userinfo
Hibernate 3.6.10源码发布：探索开源ORM解决方案
总结来说，提供的文件“hibernate-distribution-3.6.10.Final-dist.zip”是学习和研究Hibernate框架的一个宝贵资源，其中包含了源代码和其他分发文件，能够帮助开发者深入了解Hibernate的内部机制，并能够根据实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张之海

若有帮助，客官打赏一分吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值