执行hive -e sql 报错

最新推荐文章于 2024-04-21 11:55:59 发布
最新推荐文章于 2024-04-21 11:55:59 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangshuminjava/article/details/80192799
本文记录了一次使用Hive SQL进行数据查询时遇到的解析错误，并展示了正确的查询语法及结果。通过对比错误与正确的查询命令，分析了可能的原因。
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
FAILED: ParseException line 1:6 cannot recognize input near '<EOF>' '<EOF>' '<EOF>' in select clause
[wangshumin@centoshostnameKL3 logs]$ hive -e select * from  sys_user limit 2;


Logging initialized using configuration in file:/home/wangshumin/hive/hive3/conf/hive-log4j.properties
NoViableAltException(-1@[])
at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:1087)
at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:45827)
at org.apache.hadoop.hive.ql.parse.HiveParser.selectStatement(HiveParser.java:41495)
at org.apache.hadoop.hive.ql.parse.HiveParser.regularBody(HiveParser.java:41402)
at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpressionBody(HiveParser.java:40413)
at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpression(HiveParser.java:40283)
at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:1590)
at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1109)
at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:202)
at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:166)
at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:396)
at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:308)
at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1122)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1170)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1059)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1049)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:213)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:165)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:376)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:311)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:708)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
FAILED: ParseException line 1:6 cannot recognize input near '<EOF>' '<EOF>' '<EOF>' in select clause
[wangshumin@centoshostnameKL3 logs]$ hive -e "select * from  sys_user limit 2";


Logging initialized using configuration in file:/home/wangshumin/hive/hive3/conf/hive-log4j.properties
OK
1 开发管理员 devadmin jZae727K08KaOmKSgOaGzww/XVqGr/PKEgIMkjrcbJI= 0 0 2013-04-10 16:51:03.0 1 yg_zhangyg@126.com 13580000000 020-61151619100 100 devadmin null NULL null null null null NULL NULL 1 1 NULL NULL null 2018-03-12 15:38:32.0
6 配置管理员 confadmin jZae727K08KaOmKSgOaGzww/XVqGr/PKEgIMkjrcbJI= 0 0 2013-04-16 16:51:03.0 1 136@163.com 13381364000    100 100 NULL 100 0 1 1 NULL 0 null 2018-01-17 09:13:16.0
Time taken: 1.967 seconds, Fetched: 2 row(s)
[wangshumin@centoshostnameKL3 logs]$ 
数仓工具—Hive基础之报错后退出执行(24)
07-11 5万+
HiveCli和Beeline 给我们提供了执行SQL 文件执的功能，这时候我们就会将很多SQL写在一个文件中，然后执行批量SQL 文件，但是这个过程中如果前面的一个SQL 报错了，会发生什么？ 或者是如果执行过程中如果报错了，我们希望指定能停止执行，接下来我们就看一下如何在HiveCli和Beeline实现这一特性。hive.cli.errors.ignore 是Hive的一个命令行参数，参数值是True/False，当该参数是True的时候，会继续执行SQL 文件即使有SQL 报错了，否则执行报错的时
hive -e/Hive -f 出现WARN问题
L, there!
07-04 3003
hive -e 是执行指定SQL，-f 是执行指定HQL文件。 hive -e /-f 会出现WRN： WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. WARN: Please see http://www.slf4j.org/codes.html#r...
写hive sql和shell脚本时遇到几个蛋疼的问题！
52Pig的专栏
10-14 2852
错误一： Hive的where中不能用别名，   错误二： hive的groupby中不能用自定义函数，否则报错（用嵌套select代替）   错误三： 执行：$ ./hive_game_operationstatis5.sh   报错信息如下： ./hive_game_operationstatis5.sh:line 11: [: missing `]' ./hive_ga
使用shell脚本运行hive语句时，报错：syntax error near unexpected token `$'\r''
weixin_43530138的博客
08-07 1345
使用shell脚本运行hive语句时，报错：syntax error near unexpected token `$’\r’’ 问题：脚本是在Windows环境下编辑的，要转成Unix格式 解决：在nodepad++上点击 编辑-文档格式转换-转为Unix格式 在运行，解决 ...
hive报错
u014545085的博客
11-27 894
hive报错 Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeExc...
执行sql时出现错误 extraneous input ';' expecting EOF near '<EOF>'
热门推荐
xieganyu3460的博客
10-15 5万+
原文问题： 调用jdbc执行hive sql时出现错误 Error while compiling statement: FAILED: ParseException line 5:22 extraneous input ';' expecting EOF near '&lt;EOF&gt;' 错误原因是因为sql语句中多了分号   执行脚本时需要在sql后面添加分号 但是调用jdbc...
Hive通过JDBC方式访问时碰到的问题汇总
sky 胡萝卜星星
10-19 4922
1、执行hive sql时服务器报Connection refused错误 解决方法：Hive没有启动hive server2，可以通过如下指令启动，指令的后半段是指定日志存放地址hive --service hiveserver2 2>&1 >> /home/user/hive/log.log 2>&1 & 2、执行hive sql时报 xxxx is not allowed to im
解决hive集成hbase报错
个人博客地址为http://elikhb.top/
04-21 1016
解决hive集成hbase报错
初次安装hive-2.1.0启动报错问题解决方法
道可道非常道
05-08 42
　　首次安装hive-2.1.0，通过bin/hive登录hive shell命令行，报错如下： [hadoop@db03 hive-2.1.0]$ bin/hive which: no hbase in (/opt/service/jdk1.7.0_67/bin:/opt/service/jdk1.7.0_67/jre/bin:/opt/mysql-5.6.24/bin:/opt/se...
非root用户 使用 hive-testbench生成数据的过程
sinat_36300982的博客
04-26 1753
一个小白的经历过程第一步，下载源码常规安装方法源码分析来执行 第一步，下载源码 hive-testbench源码链接：https://github.com/hortonworks/hive-testbench git clone https://github.com/hortonworks/hive-testbench 到自己的目录 直接粘命令 下载源码：相信你会用到的 git clone htt...
java.lang.RuntimeException: org.apache.hadoop.hive.ql.parse.ParseException:line 1:116 cannot recogni
T_Y_F_的博客
01-29 1147
java.lang.RuntimeException: org.apache.hadoop.hive.ql.parse.ParseException:line 1:116 cannot recognize input near 'limit' ''0'' ',' in limit clause
Hive 报错：Error: Error while compiling statement: FAILED: ParseException line 1:7 Failed to recognize
三妹的博客
09-12 3万+
执行hive SQL 语句“select out from XXX ” 时报错如下： Error: Error while compiling statement: FAILED: ParseException line 1:7 Failed to recognize predicate 'out'. Failed rule: 'identifier' in table or column ...
shell脚本中用hive -e执行sql出现「cannot recognize input near ‘＜EOF＞‘ in select clause」问题
helloxiaozhe的博客
11-09 3219
1、shell脚本中用hive -e执行sql出现「cannot recognize input near ‘＜EOF＞‘ in select clause」问题 2、解决方案 修改hive -e ${sql}为hive -e "${sql}" 3、原因分析 若没有使用双引号进行包括，则"hive -e"会认为后面的sql内容解析为多个参数造成错误。而使用双引号后，整个sql将作为一个单独的参数传给hive。
Hive的Shell里hive> 执行操作时，出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec....
weixin_30667649的博客
01-07 428
　　 　　不多说，直接上干货！ 　　　　 　　这个问题，得非 你的hive和hbase是不是同样都是CDH版本，还是一个是apache版本，一个是CDH版本。 　　问题详情 [kfk@bigdata-pro01 apache-hive-1.0.0-bin]$ bin/hive Logging initialized using configu...
hive -e 出现cannot recognize input nearXXX
后知后觉的it路
04-18 4万+
    做接口平台，将 hive sql放在shell里，用   hive -e "'     select xxx, concat_ws(",",collect_set(字段))  字段  from tablexxx; "   报  FAILED: ParseException line cannot recognize input near ',' ',' 'collect...
hive sql表中敏感字段查询报ParseException错误
爱折腾的小土豆的博客
07-02 1701
hive sql表中敏感字段查询报cannot recognize input near ‘time’ ‘string’ ‘,’ in column name or constraint 解决方法： 在sql中把这个敏感字段加反引号解决
大数据---27.Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
u014579001的博客
06-10 2302
Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
你可能忘记了双引号
甘焕的博客
03-24 1672
需要定时导出hive表，有如下脚本： #!/bin/bash HQL="select * from test where concat(year, month, day) = '20200321'" hive -e $HQL > result.txt 执行时提示如下错误： FAILED: ParseException line 1:6 cannot recognize input near...
使用 hive -e 执行HQL语句时报错
guoxinshui的博客
03-11 1935
报错信息：FAILED: ParseException line 1:6 cannot recognize input near ‘’ ‘’ ‘’ in select clause 出现这个问题时，是因为 hive -e 后面的HQL语句没有用双引号括起来，将HQL语句加上双引号就可以了
hive sql常见的报错信息有哪些
最新发布
07-07
<think>我们正在讨论Hive SQL的常见错误信息。根据引用[2]中的内容，我们知道在Join操作中，如果表的大小安排不当，可能会导致内存溢出错误。引用[3]展示了一个Hive SQL优化中的错误写法，使用count(distinct)在大数据量时可能导致性能问题。引用[4]则展示了在获取Hive表最大ID时可能遇到的NULL值处理问题。 结合这些引用和Hive SQL的常见问题，我们可以总结出以下几类常见错误： 1. **语法错误**：如缺少关键字、括号不匹配、表名或列名错误等。 2. **资源不足错误**：如内存溢出（OOM）、容器被YARN杀死等，通常由于数据倾斜或资源配置不合理导致（如引用[2]提到的Join操作内存问题）。 3. **数据问题**：如空值（NULL）处理不当（如引用[4]）、数据类型不匹配、分区不存在等。 4. **配置问题**：如Hive配置错误、缺少UDF、权限不足等。 5. **性能问题**：如使用低效的SQL写法（如引用[3]中count(distinct)在大数据量时的性能问题）、未利用分区或索引等。 6. **执行引擎问题**：如使用Tez或Spark引擎时，任务失败、shuffle错误等。 下面详细列举一些具体的错误信息： ### 1. 语法错误 - **错误示例**：`FAILED: ParseException line 1:5 cannot recognize input near 'SELECT' '*' 'FROM' in expression specification` - **原因**：SQL语句语法错误，可能是关键字拼写错误或结构不正确。 - **解决方法**：仔细检查SQL语句，确保符合Hive SQL语法。 ### 2. 资源不足错误 - **错误示例**：`Container killed by YARN for exceeding memory limits.` - **原因**：任务所需内存超过容器限制，常见于数据倾斜或配置不合理（如引用[2]的Join操作未优化）。 - **解决方法**： - 优化SQL（如将小表放在Join左边）。 - 调整资源配置（如增加`mapreduce.map.memory.mb`和`mapreduce.reduce.memory.mb`）。 ### 3. 数据问题 - **错误示例**：`Failed with exception java.io.IOException:java.lang.IllegalArgumentException: Can not create a Path from an empty string` - **原因**：分区或表不存在，或路径为空。 - **解决方法**：检查表名、分区名和路径是否正确。 ### 4. 配置问题 - **错误示例**：`FAILED: SemanticException [Error 10004]: Line 1:17 Invalid table alias or column reference` - **原因**：列名或别名错误，或UDF未注册。 - **解决方法**：检查列名和UDF注册情况。 ### 5. 性能问题 - **错误示例**：任务长时间运行无结果，或报`GC overhead limit exceeded`。 - **原因**：SQL写法低效（如引用[3]的`count(distinct)`在大数据量时）。 - **解决方法**： - 改写SQL（如用`GROUP BY`代替`count(distinct)`）。 - 增加资源或调整参数。 ### 6. 执行引擎问题 - **错误示例**：`org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown` - **原因**：Tez会话关闭，可能由于任务失败或资源不足。 - **解决方法**：检查任务日志，调整资源配置。 --- ### 常见错误排查步骤 1. **查看日志**：使用`grep`搜索错误关键词（如`ERROR`、`FAILED`）及其上下文（如`grep -C 5 'ERROR' hive.log`）。 2. **检查资源配置**：确认YARN和Hive资源配置合理。 3. **优化SQL**： - 避免`select *`，只选择必要列。 - 将小表放在Join左边（引用[2]）。 - 用`GROUP BY`代替`count(distinct)`（引用[3]）。 4. **处理空值**：对可能为NULL的结果做默认值处理（如引用[4]）。 --- §§ 相关问题 §§ 1. 如何解决Hive SQL的`OutOfMemoryError`？ 2. 如何优化Hive SQL中的`count(distinct)`操作？ 3. 如何排查Hive on Tez/Spark的任务失败问题？ 4. Hive SQL中Join操作的数据倾斜有哪些解决方案？ 5. 如何配置Hive以减少常见错误的发生？</think>### Hive SQL 常见错误信息及解决方案 #### 1. **语法解析错误** ```sql FAILED: ParseException line 1:7 cannot recognize input near 'SELCT' '*' 'FROM' ``` - **原因**：SQL关键字拼写错误（如SELCT代替SELECT） - **解决**：检查语法规范，使用IDE自动补全功能[^1] #### 2. **资源不足错误** ```sql Container killed by YARN for exceeding memory limits. 5.8 GB of 5.5 GB physical memory used ``` - **原因**：数据倾斜或内存配置不足 - **解决**： - 优化Join顺序（小表放左边）[^2] - 增加配置：`set mapreduce.map.memory.mb=8192;` #### 3. **数据倾斜错误** ```sql Reduce phase stuck at 99% for over 2 hours ``` - **原因**：特定key的数据量过大 - **解决**： - 启用倾斜优化：`set hive.optimize.skewjoin=true;` - 拆分大key：`select case when key='A' then rand() else key end` #### 4. **空值处理错误** ```sql NULL value in max(id) causes script failure ``` - **原因**：聚合函数返回NULL未处理（如引用[4]场景） - **解决**： ```bash maxid=$(hive -e "SELECT coalesce(max(id),0) FROM table") ``` #### 5. **性能问题** ```sql Query runs for 6+ hours on 1TB dataset ``` - **原因**：低效操作（如count(distinct)） - **解决**： - 改写count distinct → group by[^3] ```sql SELECT count(1) FROM ( SELECT order_id FROM orders WHERE dt BETWEEN '20221001' AND '20221010' GROUP BY order_id ) t ``` #### 6. **元数据错误** ```sql Table not found: default.orders ``` - **原因**：表不存在或元数据不同步 - **解决**： - 刷新元数据：`MSCK REPAIR TABLE orders;` - 检查表位置：`describe formatted orders;` #### 7. **权限错误** ```sql Authorization failed: No write permission on /warehouse ``` - **原因**：HDFS权限不足 - **解决**： ```bash hadoop fs -chown hive_user /warehouse/orders ``` #### 8. **格式错误** ```sql Cannot deserialize value: 2023-13-01 as Date ``` - **原因**：数据类型不匹配 - **解决**： - 显式转换：`CAST(col AS DATE)` - 检查数据质量：`SELECT count(*) FROM tbl WHERE col IS NULL` --- ### 错误排查工具 1. **日志分析**： ```bash grep -C 10 'ERROR' /var/log/hive/hiveserver2.log ``` 2. **EXPLAIN 分析**： ```sql EXPLAIN SELECT ... -- 查看执行计划 ``` 3. **YARN 日志**： ```bash yarn logs -applicationId app_123456789_0001 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值