Presto读Hive报错： Malformed ORC file. Cannot read SQL type ‘tinyint‘ from ORC stream...

原创

已于 2022-04-14 18:27:25 修改 · 5.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#presto

于 2022-03-22 15:52:30 首次发布

在使用Presto读取Hive的ORC文件时遇到错误：Malformed ORC file. 无法从ORC流中读取SQL类型'tinyint'。经过代码分析和修改，提出并应用了一个解决方案，该方案已经在生产环境中成功解决问题。虽然可能无法合并到社区主线，但可以为遇到类似问题的开发者提供参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

向社区提了个Issue：

Malformed ORC file. Cannot read SQL type 'boolean' from ORC stream '.illegal' of type INT with attributes · Issue #11428 · trinodb/trino (github.com)

跟了代码之后，这样改了，实测是能解决了，也用到生产环境了。但是不一定能合到社区，发出来，给可能有类似问题的同学做下参考，抛砖引玉吧：

Support ORC 8-bit field type like tinyint or boolean, which is recognized as numeric type in trino by lihui730 · Pull Request #11931 · trinodb/trino (github.com)

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lilyjoke

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

presto sql 报错_Presto上使用SQL遇到的一些坑

weixin_39572288的博客

12-24

1045

最近换了新工作，在数据处理方面，公司是用Presto连接各个业务部的数据库，直接上SQL处理数据。一度是不是很适应。经过一段时间的工作，有了些感觉，决定将遇到的一些坑记录下来。Presto的是什么？优势是什么呢？从官方文档中我们了解到Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。...

Mapreduce读取OrcFile格式的改造

sawen21的专栏

03-24

2078

本文转自我的原创blog: http://www.javali.org/document/mapreduce_read_orcfile_solution.html The Optimized Row Columnar (ORC) file format provides a highly efficient way to store Hive data. It was designed to

参与评论您还未登录，请先登录后发表或查看评论

hive报错之Malformed ORC file Invalid postscript.

louzhu_lz的博客

07-24

5121

Caused by: java.io.IOException: Malformed ORC file 将本地文件的数据加载到hive的ORC格式表时，出现类似于以上报错原因： ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。解决办法：要么将数据源表改为以ORC格式存储的表，要么新建一个以textfile格式的临时表...

Hive ORC文件格式存储与测试（Malformed ORC file解决）

大数据挖掘SparkExpert的博客

12-06

9403

Hive本身支持好多种数据格式，其中OrcFile是当前压缩比最大的一个。因此进行该方面的实践。采用建表过程中，直接：stored as orc，就可以指定。然而用传统文本文件导入的方式，再进行查询测试，如select count(*) from table XX. 则会出现：Failed with exception java.io.IOException:java.

Caused by: java.io.IOException: Malformed ORC file

zhuzhen123zhuzhen的博客

10-18

615

Caused by: java.io.IOException: Malformed ORC file 问题：hive表文件存储格式不是 orcfile，需修改hive 表数据存储格式为orc格式。

报错Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....

qq_43368947的博客

07-06

1958

问题描述在用 sqoop 拉取 mysql 中的数据到 hive 的 ods 层的时候，报错以下内容原因在于在hive中创建表格的时候,格式是ORC，而在导入数据的时候,文本文件却非ORC格式的。 ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。解决方案 1.将ORC格式的表删除换成textfile存储格式的表即可。 2.先创建一个以textfile格式的临时表先将源文件数据加载到该表，然后再从textfile表中i

presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat

06-15

1186

om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage

【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe

Jack_Roy的博客

01-19

3456

【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe前言HIVE SHELL调整报错解决方案BEELINE调整报错解决方案SPARK调整解决方案后记前言大数据平台数据入湖逻辑执行方式从Impala改为beeline（连接hive）的方式后，在sql语句层面上做了一些调整（如DDL语句、分区字段等）。而后又发现，切换后hive默认不支持多字符作为行分隔符，设置多个字符==!@!==，但只会识

presto-hive-cdh4-0.69.zip

10-11

1. **解压与编译**：首先，你需要解压`presto.zip`，然后根据`presto-master`目录下的README文件编译源代码。 2. **配置集群**：根据集群规模和需求，配置Presto Server和Coordinator的配置文件，如`node.properties...

presto-hive-hadoop1-0.65.zip

10-18

`presto-hive`是Presto中的一个关键组件，它作为一个连接器，允许用户通过Presto SQL接口查询存储在Hive中的数据。Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询...

hive报错整理之Malformed ORC file 、Invalid postscript.

热门推荐

qq_33536353的博客

03-24

1万+

java.io.IOException: Malformed ORC file

Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file 。。。。。。

一只行走在闹市的猪

11-20

5896

当用hive查询数据时报Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file 。。。。。。哪怕是简单的查两条数据这是表的存储格式导致的用ORC格式，需先将数据导入textfile格式的临时表...

问题分析报告--读取ORC文件报seek错误

点点滴滴一世界

11-12

1190

问题分析报告--读取ORC文件报seek错误 1、问题描述 1.1 基本信息[Basic Information] 集群规模：37+3台物理机，每台128G内存；CPU：2*16C；SATA磁盘，2T*12hadoop社区版本：**商业版本：FusionInsight_HD_V100R002C60U10MetaStore：高斯数据库（Postgresql） 1.2

presto对orc文件的读取

sinat_27545249的博客

08-19

3393

orc文件格式概述读取流程presto对orc文件和parquet文件的读取都进行了优化，那么本篇文章来分析一下都做了哪些优化1 orc文件格式概述每个orc文件都有一个文件footer，文件footer里存储了每个条带(script)的最大值最小值，可以用来过滤script。每个条带又有条带footer，具体作用未知。每个条带内部存储了行组的列存形式。2 读取流程读取流程涉及以下几个读取器的构造

Hive中查看数据库，查看表的时候报错

徐磊的博客

02-17

4379

一、hive版本验证，FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解...

Hive异常Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....

大数据梦想家

01-01

1万+

今天在进行数据查询的时候,报了这个异常。对于一个像我这样的技术小白来说,肯定是懵住了。但幸运的是，我很快就找到了出现这个问题的缘由。原来是我在创建表格的时候,选择的格式是ORC。而在导入数据的时候,文本文件却非ORC格式的,固报了这个异常! &n...

【Hive】Hive查询报错 Malformed ORC file、Invalid postscript、serious problem

可乐

09-01

2153

报错1： [2020-09-01 20:27:48] hive:Failed with exception java.io.IOException:java.lang.RuntimeException: serious problem [2020-09-01 20:27:48] hive:Time taken: 3.237 seconds [2020-09-01 20:27:50] job失败！报错2： [2020-09-01 21:00:35]-Failed with exception java.i

使用hive查看orc文件 orcfiledump命令详解异常处理(Failed to read ORC file)

sinat_25207217的博客

03-13

4019

hadoop hive查看orc文件 orc文件修复 orcfiledump命令详解

presto sql 报错_(部分转载)Presto上使用SQL遇到的一些坑

weixin_36033929的博客

12-24

2098

遇到过的问题：很多的时候，在Presto上对数据库跨库查询，例如Mysql数据库。这个时候Presto的做法是从MySQL数据库端拉取最基本的数据，然后再去做进一步的处理，例如统计等聚合操作。举个栗子：SELECTcount(id)FROMtable_1WHEREcondition=1;上面的SQL语句会分为3个步骤进行：1.Presto发起到Mysql数据库进行查询SELECTid...

Presto 0.166：内存计算的分布式SQL引擎，PB级数据分析利器

Presto 0.166 是Facebook开源的一款高性能、内存密集型的分布式SQL查询引擎，专为大规模并行处理(Massively Parallel Processing, MPP)设计。它的核心特点是基于内存计算，每个节点通过扩展式Connector组件连接各种...