presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat

最新推荐文章于 2025-03-18 17:53:16 发布

原创

最新推荐文章于 2025-03-18 17:53:16 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #java #hive

在尝试使用presto查询hive表时遇到Facebook的PrestoException，问题根源在于presto需要支持parquet格式。解决方法是在创建hive表时指定parquet格式和压缩方式，例如使用ROW FORMAT DELIMITED FIELDS TERMINATED BY ';' 并设置 tblproperties('parquet.compression'='lzo')。现在问题已解决，下一步将研究如何使用kettle将数据以parquet格式导入hdfs。

初步接触presto，据说很牛，很快，于是结合hive来使用，一直出现查询通过presto创建的表无问题，但查询hive之前的表报如下错误。。。搞了几天
com.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat
	at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331)
	at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(StoragePartitionLoader.java:162)
	at com.facebook.presto.hive.DelegatingPartitionLoader.loadPartition(DelegatingPartitionLoader.java:78)
	at com.facebook.presto.hive.BackgroundHiveSplitLoader.loadSplits(BackgroundHiveSplitLoader.java:192)
	at com.facebook.presto.hive.BackgroundHiveSplitLoader.access$300(BackgroundHiveSplitLoader.java:40)
	at com.facebook.presto.hive.BackgroundHiveSplitLoader$HiveSplitLoaderTask.process(BackgroundHiveSplitLoader.java:121)
	at com.facebook.presto.hive.util.ResumableTasks.safeProcessTask(ResumableTasks.java:47)
	at com.facebook.presto.hive.util.ResumableTasks.access$000(ResumableTasks.java:20)
	at com.facebook.pr

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

womode

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

PrestoHive查询优化技巧

AI天才研究院

07-02

629

Presto-Hive查询优化技巧作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：查询优化，Presto，Hive，SQL查询，执行计划，成本估算，索引管理 1. 背景介绍

presto Query failed :Query text length exceeds the maximum length

吴成伟的博客

09-25

3191

报错信息 presto Query failed :Query text length exceeds the maximum length 原因分析：查询长度超过最大值解决方法：在配置文件config.properties文件里面添加query.max-length这个配置，重启presto server生效，再次尝试发现问题解决了。 coordinator=true node-scheduler.include-coordinator=false http-server.http.port=80

参与评论您还未登录，请先登录后发表或查看评论

presto本地开发，访问Hive报错：Unable to create input format org.apache.hadoop.mapred.TextInputFormat

lucyLee的博客

04-22

4472

1. 序言出于工作需要，使用mac + IntelliJ IDEA，搭建了一个可以访问Hive的本地开发环境执行查询时报错： Query 20220422_084012_00000_34axr failed: Unable to create input format org.apache.hadoop.mapred.TextInputFormat 查看日志，具体的报错信息如下： com.facebook.presto.spi.PrestoException: Unable to crea

Presto的概念和安装使用

SmallScorpion

03-25

1107

一、概念 Pressto时一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景虽然Pressto可以解析SSQL，但它不是一个标准的数据库，不是MySQL、Oracle的代替品，也不能用来出来在线事务(OLTP) 1.1 Presto架构 Coordinator:决策者 -> 解析成MR Worker：工作者 -> 跑任务 Connecto...

Trino升级之后查询报错：Unable to create input format org.apache.hadoop.mapred.TextInputFormat

京河小蚁的博客

09-04

439

trino版本由407升级到419，客户端提交作业到trino，部分sql报下面的错误，在web ui上提示 EXTERNAL ERROR HIVE_UNSUPPORTED_FORMAT。通过错误提示和老版本对比，确认缺少依赖包导致，缺少一个jar包：hadoop-lzo-0.4.21-SNAPSHOT.jar。将该包拷贝到对应目录下之后再次提交sql，执行成功。

springboot使用presto查询hive数据

qq_40808232的博客

01-27

1439

引包 <dependency> <groupId>com.facebook.presto</groupId> <artifactId>presto-jdbc</artifactId> <version>0.234.1</version> </dependency> 1、配置设置presto的配置信息 presto...

Presto:Unable to create input format org.apache.hadoop.mapred.TextInputFormat

qq_42533287的博客

09-08

1236

Presto：Unable to create input format com.hadoop.mapred.

Presto：Unable to create input format com.hadoop.mapred.DeprecatedLzoTextInputFormat错误解析

qq_32656561的博客

06-05

3106

我的hive中的ods层表是这样存储的： drop table if exists ods_ipqc_online_tmp; create external table ods_ipqc_online_tmp ( `MACH_ID` string COMMENT '机台id', `MACH_IP` decimal(16, 2) COMMENT '机台ip', `IPQC_ONLINEID` string COMMENT 'IPQC在线ID', `CRE

hive中的文件格式和压缩类型

weixin_38629422的博客

11-01

977

Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTextOutputFormat；可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但是使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作 2-SequenceFile

org.apache.hudi.hadoop.realtime

最新发布

04-29

如果遇到类似于 “Unable to create input format org.apache.hadoop.mapred.TextInputFormat” 这样的错误消息，则可能是由于缺失必要库引起的。此时应检查是否有所有必需的第三方插件已被正确安装至相应节点上的 ...

【presto】presto 查询hive分桶表问题

Mrerlou的博客

08-11

2172

前言在使用presto查询 hive的分桶表时，遇到报错，这里整理并记录一下。报错内容 Error running query: Hive table 'tj_tmp.student_bucket' is corrupt. The number of files in the directory (16) does not match the declared bucket count (4) for partition: <UNPARTITIONED> 问题原因先说结论： pres

Presto之分布式安装查询Hive

choubayan4320的博客

07-28

326

工作需要使用Presto，记录下。Presto需要Hive，安装Hive的步骤略，可参考我的这篇博客。 Hadoop的版本是2.7.2，Hive的版本是2.1.1，Presto的版本是0.197。Presto是个master-slave结果的查询引擎，所以我们用三台机器来安装...

presto和hive的使用区别

11-27

Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。

Presto【付诸实践 01】Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享

シ風

12-14

3821

Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享

presto java 分页_数据仓库(十四)--java--presto---hive的分页查询

weixin_34026053的博客

02-25

971

我们在SpringMVC框架中使用那个presto查询hive的数据做展示时，发现在table里分页是个不可避免的话题。建议去掉count但是尴尬的是对于海量数据 count的效率是很低的，因为在不加条件的情况下基本上要扫描全表。count操作性能比较收集oracle里Count一亿条数据大于10分钟mysql,3000万行记录，count(*)需要200shive+presto count ...

数据仓库(十三)--java--presto---SpringMVC使用presto查询hive

直到世界的尽头

03-09

1946

我们对8400万条hive数据使用presto进行查询，数据量大约11G，不是很大。尽量不适用or语句前端web界面上只有一个输入框，通过这个输入框同时查询三个字段是否有相等的数据使用查询语句主要涉及三个字段为: select chromosome,position,rs from chip where 1=1 and (chromosome='156531656' or pos...

数据仓库(十四)--java--presto---hive的分页查询

直到世界的尽头

03-08

9612

我们在SpringMVC框架中使用那个presto查询hive的数据做展示时，发现在table里分页是个不可避免的话题。建议去掉count 但是尴尬的是对于海量数据 count的效率是很低的，因为在不加条件的情况下基本上要扫描全表。 count操作性能比较收集 oracle里Count一亿条数据大于10分钟 mysql,3000万行记录，count(*)需要200s hive+p...

Hive & Presto SQL 查询优化指南

晴天彩虹雨的博客

03-18

1204

在实际查询时，可以结合分区优化、文件格式优化、JOIN 策略优化、SQL 语法优化等方式，提升 Hive 和 Presto 的 SQL 查询性能，减少查询延迟，提高资源利用率！🚀。

操作hive表的时候报错：权限不够等权限问题，以及如何修改hive表的权限。

li793829630的博客

12-28

6214

我们一般在公司中进行hive上面的表的操作的时候，经常会碰见权限不够的问题：上面这些错误就是说明我们当前用户的权限不够了。这个时候，你要通知一些有管理员权限的人员或者账号去赋权。具体操作步骤如下：例子：假设我用的是test用户 1 show create table xx你的表名xx 然后你会得到下面的信息 CREATE TABLE `tablename`( `month_id` string COMMENT '', `day_id` string, `part_id` str