presto,hive查询比较，presto缺点

最新推荐文章于 2023-02-27 11:36:10 发布
原创 最新推荐文章于 2023-02-27 11:36:10 发布 · 2.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在使用Presto进行数据查询时遇到的分区不存在的问题，具体表现为查询失败，原因是HDFS上的分区文件已被删除，这与Hive处理类似情况的方式不同。

presto:default> select * from mds_bhv where dt='20190319' limit 10;

Query 20190418_083902_00583_dewqj, FAILED, 1 node
Splits: 17 total, 0 done (0.00%)
0:00 [0 rows, 0B] [0 rows/s, 0B/s]

Query 20190418_083902_00583_dewqj failed: Partition location does not exist: hdfs://nn/dw/mds/mds_bhv/dt=20190319/pp

有分区show partition ;但是hdfs 文件已删；presto查询报错。

这点不如hive；hive 不会报错。

LAFEU
关注
Hive与Presto对比：大数据查询引擎选型指南
操作系统内核探秘的博客
09-30 1062
本文的主要目的是对Hive和Presto这两款大数据查询引擎进行全面、深入的对比，帮助大数据开发者、数据分析师、架构师等相关人员了解它们的优缺点、适用场景，从而在实际项目中能够做出更合适的查询引擎选型决策。范围涵盖了Hive和Presto的核心概念、算法原理、性能表现、应用场景等多个方面，通过理论分析和实际案例相结合的方式进行阐述。本文将按照以下结构进行组织：首先介绍Hive和Presto的核心概念与联系，包括它们的基本原理和架构；接着详细讲解它们的核心算法原理和具体操作步骤，并给出Python源代码示例。
Presto与Hive的优缺点比较
最新发布
AI天才研究院
06-15 800
Hadoop作为大数据领域的重要基础设施,为大数据存储和分析提供了强大的支持。Hadoop生态圈包含了一系列开源工具和框架,如HDFS分布式文件系统、MapReduce分布式计算框架、Hive数据仓库工具、HBase列式数据库等。这些工具相互配合,构建了一个完整的大数据处理平台。
01 presto 概述: 特性 优缺点 场景 架构
Pushkin.的博客
02-27 2352
Presto是一款开源的分布式并行计算(MPP)引擎，主要适用于大数据领域GB~PB量级数据源的秒级分析查询场景需求。 - Presto的产生是为了解决MapReduce模型太慢且不能通过BI等工具展现HDFS数据的问题 - Presto是一个计算引擎，它不存储数据，主要通过丰富的Connector,获取第三方的数据，并支持扩展
hive分区表某分区对应的目录不存在导致查询异常问题
L13763338360的博客
05-19 7314
1. 问题现象 1.1 spark thrift server查询hive分区表异常 0: jdbc:hive2://10.0.194.131:10017> select * from xy_app.xy_log_collect_user_funnels limit 10; Error: java.lang.RuntimeException: serious problem (state=,code=0) 0: jdbc:hive2://10.0.194.131:10017> [hdfs@
presto查询报错
leezsj的博客
08-30 1188
Query 20210830_061727_00007_ak6q7 failed: Partition location does not exist: hdfs://leetom:8020/sources/hudi/cow/event/default 提示我没有hfds 的指定目录 这是我的实际目录,因为有分区,所以我们需要指定分区 之前的查询语句 select event,count(1) from event group by event; 正确的语句 select eve..
presto 使用 部署_Presto优缺点
weixin_36280648的博客
12-17 1412
Presto优缺点Presto中SQL运行过程：MapReduce vs Presto使用内存计算，减少与硬盘交互。 优点1）Presto与Hive对比，都能够处理PB级别的海量数据分析，但Presto是基于内存运算，减少没必要的硬盘IO，所以更快。2）能够连接多个数据源，跨数据源连表查，如从Hive查询大量网站访问记录，然后从Mysql中匹配出设备信息。3）部署也比Hive简单，因为Hive是基...
presto和hive的使用区别
11-27
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
hive 和 presto sql的对比
04-21
Hive和Presto SQL是两种广泛用于大数据处理的查询语言，它们在SQL语法和功能上有一定的相似性，但也存在明显的差异。以下是对这两者在常见函数使用、陷阱和特定功能上的对比： 1. **NOT IN**： Hive允许在`NOT IN`...
java jdbc连接presto，使用presto查询hive数据，并将结果存为列表显示
Wingkin的博客
12-15 2594
java使用presto查询hive数据，并将结果存为列表显示 1.代码 import java.sql.*; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; public class PrestoTest { public static void main(String[] args) throws SQLException, ClassNotFo
java实现Presto在线查询Hive
杨鑫newlife的专栏
11-27 3228
@Override public String queryHiveData(String sql, int page, int pageSize, String jobID, long startTime) { SQLQueryModel sqlQueryModel = new SQLQueryModel(); if (!sql.equals(sqlUti...
【presto】presto查询报错整理
Mrerlou的博客
09-14 5662
问题一： 报错内容： Error running query: Corrupted statistics for column "[firstcontactsname] optional binary " in Parquet file "hdfs://nameservice1/user/hive/warehouse/riskn.db/ads_baihang_order_001_01/etl_dt=2021-09-12/000014_0": [min: 0xE4B881E4B89AE697BA, max
删除hive的部分分区后，Presto查询数据失败，但是Hive查询却有数据
Coding Space
02-17 4178
文章目录1.异常信息2.原因3.解决方案 1.异常信息 查询使用presto查询hive表，显示partition location dose not exist: hdfs:\xxxx 2.原因 对hive数据分区进行了物理删除，但是hive查询时可以屏蔽该错误，但是Presto查询的时候不能屏蔽该错误，而是将该错误抛出。 3.解决方案 手动删除hive的元数据中的分区信息，如下所示： alt...
小白学presto日记——presto运行出错
qq_42515611的博客
09-14 483
代码： create table dwb_news.rsu comment 'retention speed up table' with (format = 'ORC') as with t1 as (select distinct_id as uid , logday, date_diff('day', from_iso8601_timestamp('2020-08-01'), from_unixtime(ctime/1000))as gap from ods_news.event where lo
spark版本bug总结
qq_34446614的博客
11-23 3390
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Traceback (most recent call last): File "/tmp/voldemort/0000
大数据之Presto&Druid&Kylin
weixin_38255444的博客
04-09 4200
大数据之Presto&Druid&Kylin 一：Presto ​ 1、概念 ​ Presto是一个开源的分布式SQL查询引擎， 数据量支持GB到PB字节， 主要用来处理秒级查询的场景。 ​ 注意：虽然Presto可以解析SQL， 但它不是一个标准的数据库。 不是MySQL、Oracle的代替品， 也不能用来处理在线事务（OLTP） 。 ​ 2、架构 ​ 3、Presto优缺...
hive 生成拉链表&拉链表数据查询&拉链表回滚
qq_43192537的博客
03-09 1650
hive 生成拉链表
hive和presto的一些对比
热门推荐
机器学习、数据挖掘
11-08 1万+
1.处理json类型的数据 xx:{gory_id=2, custom={"dis":"0.1","test":"test","position":"2"}, id=0} presto处理如下： select xx, json_extract_scalar(xx['custom'],'$.position') from table limit 1000 hive处
presto和hive的区别
忙着赚钱的博客
07-17 8281
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。 经过测评，presto的平均性能是hive的十倍。 presto的优点：数据源具有完全解耦，高性能，以及对ansi sql的支持特性，使得presto在etl,实时数据计算、as-hoc查询和实时数据流分析等多个场景中能够发挥重要的做用。
使用Presto查询hive表数据时报"Error opening Hive split hdfs"问题，及解决方法
终码一生
11-14 5463
问题如下，在使用presto查询hive表中数据时，报了“Error opening Hive split hdfs”，详细的日志，意思是Hive在处理数据的时候使用的是ORC文件有问题，但是看了读取的文件，明显是snappy格式的文件，所以读取的文件是畸形的ORC文件。 现在很简单，查看我们的Hive建表语句。show create table xxx表。 查看了一下Hive的建表语句，发现...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值