hive中 map字段的查询问题

最新推荐文章于 2025-04-23 23:20:40 发布
最新推荐文章于 2025-04-23 23:20:40 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hive java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/manbufenglin/article/details/111226547
在尝试使用Hive SQL查询包含Map字段的数据时，用户遇到了NoViableAltException错误。问题源于使用了SQL关键字'values'作为字段别名。为避免解析冲突，解决方案是更改字段别名，例如改为'vals'，或者使用单引号将'values'包围。正确修改后的SQL语句能够正常执行，提取Map字段的键和值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在进行hive sql查询map字段值时报错:
NoViableAltException(314@[225:12: ( KW_OVER ws= window_specification )?])  
仔细分析报错原因后再检查sql发现，sql中使用了关键字values,修改字段别名vals或使用上撇号引起来即可解决。

hive (sparktest)> select name,size(family) size,family['father'] father,family['sister'] sister,map_keys(family) keys,map_values(family) values from hive_map;
NoViableAltException(314@[225:12: ( KW_OVER ws= window_specification )?])
        at org.antlr.runtime.DFA.noViableAlt(DFA.java:158)
        at org.antlr.runtime.DFA.predict(DFA.java:116)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.function(HiveParser_IdentifiersParser.java:3538)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.atomExpression(HiveParser_IdentifiersParser.java:6897)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceFieldExpression(HiveParser_IdentifiersParser.java:6988)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceUnaryPrefixExpression(HiveParser_IdentifiersParser.java:7324)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceUnarySuffixExpression(HiveParser_IdentifiersParser.java:7380)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceBitwiseXorExpression(HiveParser_IdentifiersParser.java:7542)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceStarExpression(HiveParser_IdentifiersParser.java:7685)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedencePlusExpression(HiveParser_IdentifiersParser.java:7828)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceConcatenateExpression(HiveParser_IdentifiersParser.java:7967)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceAmpersandExpression(HiveParser_IdentifiersParser.java:8177)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceBitwiseOrExpression(HiveParser_IdentifiersParser.java:8314)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceSimilarExpressionMain(HiveParser_IdentifiersParser.java:8801)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceSimilarExpression(HiveParser_IdentifiersParser.java:8697)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceEqualExpression(HiveParser_IdentifiersParser.java:9537)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceNotExpression(HiveParser_IdentifiersParser.java:9703)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceAndExpression(HiveParser_IdentifiersParser.java:9812)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.precedenceOrExpression(HiveParser_IdentifiersParser.java:9953)
        at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.expression(HiveParser_IdentifiersParser.java:6686)
        at org.apache.hadoop.hive.ql.parse.HiveParser.expression(HiveParser.java:41850)
        at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectItem(HiveParser_SelectClauseParser.java:1662)
        at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectList(HiveParser_SelectClauseParser.java:1176)
        at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:950)
        at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:41988)
        at org.apache.hadoop.hive.ql.parse.HiveParser.atomSelectStatement(HiveParser.java:36720)
        at org.apache.hadoop.hive.ql.parse.HiveParser.selectStatement(HiveParser.java:36987)
        at org.apache.hadoop.hive.ql.parse.HiveParser.regularBody(HiveParser.java:36633)
        at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpressionBody(HiveParser.java:35822)
        at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpression(HiveParser.java:35710)
        at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:2284)
        at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1333)
        at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:208)
        at org.apache.hadoop.hive.ql.parse.ParseUtils.parse(ParseUtils.java:77)
        at org.apache.hadoop.hive.ql.parse.ParseUtils.parse(ParseUtils.java:70)
        at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:468)
        at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1317)
        at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1457)
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1237)
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1227)
        at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:233)
        at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:184)
        at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:403)
        at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:821)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:759)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:686)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:226)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:141)
FAILED: ParseException line 1:119 cannot recognize input near 'values' 'from' 'hive_map' in function specification

 

深入探究 Hive 中的 MAP 类型：特点、创建与应用
2401_83088008的博客
04-04 225
在大数据处理领域，Hive 作为一个基于 Hadoop 的数据仓库基础设施，提供了方便的数据存储和分析功能。Hive 中的 MAP 类型是一种强大的数据类型，它允许用户以键值对的形式存储和操作数据。本文将深入探讨 Hive 中 MAP 类型的特点，详细介绍如何创建含有 MAP 类型字段的表，并通过实际示例展示其在数据处理中的应用。Hive 中的 MAP 类型是一种非常强大的数据类型，它具有键值对存储、动态性、嵌套性和查询灵活性等特点。
Hive表种map字段的查询取用
a45691316的博客
04-18 4454
Hive表种map字段的查询取用 建表可以用 map<string,string> 查询时可以按照 aaa[bbb], aaa 是map字段名，bbb是其中的参数名，就可以取到这个参数的值了 当参数名bbb是...
Hive 之查询
hj1993的博客
02-13 1052
满外连接：将会返回所有表中符合WHERE语句条件的所有记录。如果任一表的指定字段没有符合条件的值的话，那么就使用NULL值替代。内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。左外连接：JOIN操作符左边表中符合WHERE子句的所有记录将会被返回。，导出到本地只会有两个文件有数据，另一个为空，只用到了两个。语句，但是只支持等值连接，不支持非等值连接，即表与表之间。必须有一列值相等作为连接条件，n 张表连接，至少要有。连接 n个表，至少需要n-1个连接条件。
[hive] map
热门推荐
言之。
10-18 1万+
在 Hive 中，MAP 是一种复杂数据类型，用于表示键值对的集合。它类似于其他编程语言中的字典、哈希表或关联数组。你可以在 Hive 表中使用 MAP 类型的列，也可以在查询过程中创建和操作 MAP。
Hive 将查询语句转存到Map字段
Eric的专栏
08-29 6050
将查询语句得到的数据，存放到hive表的map字段中， 在一般的查询语句里，返回的字段都是String类型， 直接insert到hive表的map字段会报类型错误。 去咨询了大数据的同学，也不知道该怎么弄。 从网上搜到的，都是将主句转存为文件，再把文件导入到map字段。 实际只需要一个函数就可以。 str_to_map. insert overwrite table
Hive之Map常用方法
weixin_43597208的博客
09-20 1万+
实际工作中，有时会出现map复杂数据类型，字段field1形式如：{‘k0’:‘abc’,‘k1’:‘01,02,03’,‘k2’:‘456’}，如果是string形式，我们可以适用get_json_object 函数，取出对应的value值，具体如：get_json_object（field,‘$.k0’），即可取出值abc,如果是map数据类型，这个值该怎么取呢？可以适用field[‘k0’]这种形式取出abc，顺便把map数据类型的常用方法做个总结；
hive 使用 map 类型字段
AI天才研究院
07-06 9968
创建一个map类型字段 create table test3(field2 map<string,string>) row format delimited fields terminated by ',' collection items terminated by "|" map keys terminated by ":"; map keys terminated by "...
java往hive 的map类型字段写数据
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-06 2748
该表的该字段类型是map<string,string> 对应类的该属性的类型需要定义成String，不可定义成Map<String,String> ！！ 方法1: 建表语句定义map的分隔符： row format delimited fields terminated by '|' collection items terminated by ',' m...
Hive中Map和Reduce阶段的分工
最新发布
2401_83088008的博客
04-23 589
在Hive查询执行过程中，Map和Reduce阶段有明确的分工，但实际情况要复杂一些。
hive复杂数据类型之 map映射
wowulita123的博客
05-08 2160
好了，今天的map映射介绍就分享到这里，已经给大家讲的非常详细了，大家在实际的工作中可能不太能用得上，但是作为一个优秀的程序员，很多东西你可以不用，不掌握，但是你不能不知道有这么一个东西！！知道才是王道，万一在代码开发中需要用呢？？？你可以想起这篇文章。欢迎一键三连，您的鼓励是我创作的动力。
hive中使用map和array
yinbucheng的博客
04-29 2512
create table table1 (a array, b array) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ','; load data local inpath "/files/arraytest.txt"  overwrite into table tab
快速了解Hive
qq_52150032的博客
06-08 445
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapreduce任务来处理内建的SQL函数无法完成的复杂的分析任务。Hive中包含的有SQL解析引擎，它会将SQL语句转译成M/R Job,然后在Hadoop中执行。通过这里的分析我们可以了解到Hive可以通过sql查询Ha
Hive中的map类型及其操作
09-06 2970
在k-v对中，若value有多个值的情况，如 {‘k1’:‘01,02,03’} ，如果要用 ‘k1’ 中 '02’作为过滤条件，则语句如下：（这里用到split来处理）判断map中是否包含某个key值：array_contains(map_keys(k_v),‘A’)或者k_V[“A”] is not null。map_values(Map)函数：可得map中所有的value;map_keys(Map)函数：可得map中所有的key;size(Map)函数：可得map的长度。–创建表，并定义map类型。
Hive 特殊的数据类型 Array、Map、Struct
JIE的博客 --- moon_coder
05-11 2079
获取数组值的方式和我们在 Java 中一样，采用下标的方式访问，当访问的下标超过数组的长度时，并不会报错，它会返回。这里值 Value 中存在整型和字符型数据类型不统一的情况，它会统一将值 Value 都转换成字符型。Map 是 KV 键值对类型，其中存储的字段数量可多可少，但是 KV 键值对的数据类型必须提前确定。和 Map 一样，它会将前面的数据当作 Key，后面的数据当作 Value，两两组合，形成结构体。它会将前面的数据当作 Key，后面的数据当作 Value，两两组合，形成 Map 集合。
Hive创建外部表异常
qq_23871147的博客
07-22 1087
NoViableAltException(158@[]) at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1074) at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:202) at org.apache.h
Hive执行SQL报错：NoViableAltException(288@[215:51: ( KW_AS )?])
DraGon_HooRay的博客
10-13 1129
Hive执行SQL报错： NoViableAltException(288@[215:51: ( KW_AS )?]) at org.antlr.runtime.DFA.noViableAlt(DFA.java:158) at org.antlr.runtime.DFA.predict(DFA.java:116) at org.apache.hadoop.hive.ql.parse.HiveParser_FromClauseParser.subQuerySource(HiveParser_FromCl
hive将查询数据插入表中某字段无数据
weixin_45732391的博客
10-25 1543
hive将查询数据插入表中某字段无数据 今天将查询的数据插入表中时发现 entrystationid 为null，一开始以为是没有查到该字段值， 执行查询语句时发现该字段有值，后来以为是字段名有问题，经过查看字段名正确，试了几次发现查询出来的字段类型为string，而建表时该字段是int类型，所以字段类型不一致导致数据没有插入进去。 结论：字段类型不一致导致数据插入失败。 ...
Hive 复杂数据类型之map
鸭梨的博客
12-27 4662
定义格式如下： create table tableName( ....... colName map<T,T> ...... ) 案例准备： 测试数据如下 zhangsan chinese:90,math:87,english:63,nature:76 lisi chinese:60,math:30,english:78,nature:0 wangwu chinese:89,math:25 create table if not exists map1( name string,
hive中如何往map字段里增加元素
10-22
在Hive中，Map数据类型通常是存储键值对的，如果你想往已存在的Map字段中添加新元素，你可以通过`put()`方法或者`putAll()`方法来实现。假设你有一个名为`my_map`的Map字段，其结构为`map<string, string>`，以下是添加元素的示例： 1. **使用put()方法**: ```sql UPDATE your_table SET my_map = my_map.put('new_key', 'new_value'); ``` 这将向`my_map`中指定的键`'new_key'`对应的值设置为`'new_value'`。如果该键已经存在，则旧值会被替换。 2. **使用putAll()方法**: 如果你想要一次性添加多个键值对，可以这样做： ```sql INSERT INTO your_table SELECT *, my_map.putAll(map_with_new_elements) as new_my_map FROM your_table; ``` 这里假设`map_with_new_elements`是一个临时表或包含新键值对的数据集。 注意，更新操作通常涉及全表扫描，可能会有性能影响，所以在大数据集上应谨慎使用。同时，Hive不支持直接修改行，所以这类操作通常会涉及到全表更新或者创建一个新的列然后替换原列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值