Hive SQL中不同数据类型比较时隐性转换的坑

最新推荐文章于 2023-05-10 09:04:32 发布
最新推荐文章于 2023-05-10 09:04:32 发布
阅读量2.9k 收藏 3
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Big Data Data Warehouse ETL 文章标签： hive SQL 类型转换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/langcaiye/article/details/95482142

1. 不同数据类型比较

先来看一段SQL。表dean_test中字段a的类型是整型INT，字段b的类型是字符串/字符型STRING/VARCHAR。

select * from dean_test where a = b

这就是不同数据类型比较。

现实中发现不少数据类型不匹配的比较能兼容地进行隐性类型转换。但是，隐性类型转换的一个大前提应该是不能丢失精度！换句话说，显性转换和隐性转换的结果必须是一致的！

2. hive的坑

date和string

hive早期的版本是没有date类型的，所以date都是用string来表示。因此早期的date_add返回的数据类型是string。

我们举个例子：下面这个条件在以前以字符串进行比较的时候是不会有问题的。结果应该是true。

'2019-07-11 08:00:00' > date_add('2019
最低0.47元/天 解锁文章

200万优质内容无限畅学
记一次Hive隐式转换的坑
yancychas的博客
09-12 1322
1、一次隐式转换遇到的错误及原因 最近在使用Hive中，遇到了一个隐式转换的坑。 首先看一下两个表格 table1 order_number(type:string)value 150970594253582620123 table2 order_number(type:bigint)value 150970594253582621123 在两个表的使用中，需要对两个表进行连接 SELECT oi.order_number order1, cc.order_number order2
Hive如何比较复杂数据类型
Time flys
12-24 2753
Hive中的复杂数据类型，比如array，struct, map能进行大小的比较吗，我们先来做实验看看结果。 Array select max(arr) from ( select array(1,3,5) as arr union all select array(2,4,1) as arr union all select array(2,3,5) as arr ...
hive 两个不同类型的columns进行比较
bupt041137的专栏
09-19 1241
select case when "ab1234""123" then 1 else 0 end as flag from src limit 1; 1 select case when "ab1234"123 then 1 else 0 end as flag from src limit 1; 0 select case when "ab1234" cast(123 as bi...
hive - 字符串string和bigint类型的坑
a123147abc的博客
06-10 4524
hive 的string与bigint的比较
hive 比大小误区
weixin_44280356的博客
12-27 826
select ‘数字字符串’ > 100 （>后面必须跟数值，不能跟’100’ ，这样就是比较字符大小了）hive 表中如果字段类型为string类型。就可以select 9
03--hive交互命令和常见数据类型
小时光
08-05 215
bin/hive -help [root@hadoop33 hive]# hive -help usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --d...
Hive整理大全
weixin_45148452的博客
07-12 1920
全局目录结构，滑下去后在侧边栏边1.Hive 简介1.1 简介1.2 优缺点1.2.1 优点1.2.2 缺点1.3 架构原理hive的执行流程图1.4 与 RDBMS 的比较2.Hive 基本操作2.1 Hive 常用命令2.2 本地文件导入 Hive 表中2.3 Hive 其他操作3.Hive 常见属性配置3.1 数据仓库位置hive 中 formatted 的用法:3.2 查询信息显示配置3.3 参数配置方式4.Hive 数据类型4.1 基本数据类型4.2 集合数据类型案例实操：4.3 数据类型转化5.
Hadoop之hive中sql常用函数汇总
小小良
05-13 4028
1、hive执行引擎 mr/tez/spark set hive.execution.engine = mr; 2、开启动态分区 set hive.exec.dynamic.partition = true; set hive.exec.dynamic.partition.mode = nonstrict; ## 删除分区： ALTER TABLE dm.user_action_sel...
hive常用函数
认真学代码的shell
03-25 2096
1.Hive 1.nvl函数 nvl函数：空值转换函数 函数形式：nvl（expr1，expr2），类似于mysql-nullif（expr1，expr2） 作用：将查询为Null值转换为指定值。 若expr1为Null，则返回expr2，否则返回expr1。 适用于数字型、字符型和日期型，但是expr1和expr2的数据类型必须为相同类型。 转载自 NVL函数 NVL函数的格式如下：NVL(expr1,expr2) 含义是：如果oracle第一个参数为空那么显示第二个参数的值，如果第一个参数的值不为空，则
hive隐式转换
数仓老六
05-08 298
hive允许的隐式转换
Hive的几种常见的数据导入方式
lz_N_one的博客
07-29 7089
(1)、从本地文件系统中导入数据到Hive表； (2)、从HDFS上导入数据到Hive表； (3)、从别的表中查询出相应的数据并导入到Hive表中； (4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。...
Hive的数据类型及文件格式
qq_56870570的博客
08-20 1611
1. 基本数据类型 Hive数据类型 对应Java数据类型 长度 例子 TINYINT byte 1byte有符号整数(-128 ~ 127) 5 SMALINT short 2byte有符号整数(-32,768 ~ 32,767) 5 INT int 4byte有符号整数(-2,147,483,648 ~ 2,147,483,647) 55 BIGINT long 8byte有符号整数(-9,223,..
hive中string和varchar数据类型，性能方面的差异？
weixin_41634597的博客
09-15 4820
在hive默认情况下，string被映射到varchar(32762),这意味着 如果值超过32762，则该值将被截断 如果数据不需要存储的最大varchar长度（例如，该列永远不会超过100个字符），那么它会为处理该列分配不必要的资源 string数据类型的默认行为是将类型映射到varchar的SQL数据类型（32762），默认行为可能导致性能问题。 ...
Hive的不等值连接
iilegend的博客
04-20 8337
hive的join语法仅支持等值连接，不支持非等值的连接 select * from a join b on a.id>b.id; 这种情况是不被允许的，直接报错。 可以采取这种方法： select * from a join b on a.id=b.id; 或者： select * from a,b where a.id>b.id; ...
【hive】hive数据类型及数据类型转换的注意事项
热门推荐
sodaloveer的博客
05-10 1万+
hive数据类型及数据类型转换的注意事项
hive的类型转换
不爱吃鱼的馋猫
12-01 902
hive的类型转换 Hive的原子数据类型是可以进行隐式转换的，类似于Java的类型转换，例如某表达式使用INT类型，TINYINT会自动转换为INT类型，但是Hive不会进行反向转化，例如，某表达式使用TINYINT类型，INT不会自动转换为TINYINT类型，它会返回错误，除非使用CAST操作。 1.隐式类型转换规则如下 （1）任何整数类型都可以隐式地转换为一个范围更广的类型，如TINYINT可以转换成INT，INT可以转换成BIGINT。 （2）所有整数类型、FLOAT和STRING类型都可以隐式地转
hive关联中取消不同类型自动进行隐式转换的问题
teak_on_my_way的博客
05-06 432
hive.strict.checks.cartesian参数可以设置为true或false，默认值为false。如果将其设置为true，则Hive将不会在关联操作中进行隐式转换，而是只允许使用相同数据类型的列进行关联。在Hive中进行关联操作时，如果关联的两个表的列数据类型不匹配，则Hive会尝试进行隐式转换。如果要取消关联操作的隐式转换，可以使用hive.strict.checks.cartesian参数。在Hive配置文件中设置参数以在所有会话中启用参数。
hive用timestamp类型的时间与string类型比较大小时遇到的坑
蒙奇D路飞
07-07 7207
SELECT date_format(a.start_time, 'yyyy-MM-dd') AS `date`, COUNT(*) AS `排课课节数`, SUM(a.stu_num) AS `排课学生人次`, count(case when a.category=0 then 1 end) as `1v1课节数`, sum(case when a.category=0 then a.stu_num end) as `1v1学生人次`, count(cas
hive sql 转换数据格式
最新发布
08-08
首先，用户的问题是：“我想将Hive SQL中的数据格式进行转换的方法或函数 请问Hive SQL 如何转换数据格式 数据类型转换 函数”。这涉及到Hive SQL中数据类型转换的方法和函数。 根据系统级指令： - 所有行内数学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值