大数据SQL交互查询 presto/spark/mapreduce 计算引擎对比

最新推荐文章于 2025-04-15 14:28:25 发布
最新推荐文章于 2025-04-15 14:28:25 发布
阅读量4.1k 收藏 1
点赞数 2
分类专栏： Hadoop 文章标签： presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kwu_ganymede/article/details/62434616
版权
本文对比了大数据查询引擎Presto、Spark和MapReduce在处理146列、15920816行、15GB数据时的效率。结果显示，Presto在TextFile和Parquet格式下表现最优，尤其在Parquet格式下速度提升显著，其次是Spark，而MapReduce速度最慢。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


presto/spark/mapreduce 计算引擎对比


对比的表结构为146列， 15920816 行数据，数据压缩前的大小15G。


对于执行语句的效率，单位秒

TextFile格式

执行的SQL presto spark
最低0.47元/天 解锁文章
【大数据入门核心技术-Spark】（二十）Spark SQL数据抽象Spark SQL 与 Presto SQL 对比
10-13 461
在一个 Presto 查询中，用户可以组合来自多个数据源的数据并运行查询。Spark SQL 带有一个内置功能，可以使用 JDBC 连接其他数据库，即“JDBC 到其他数据库”，它有助于联邦功能。它是一个开源分布式 SQL 查询引擎，旨在针对各种规模的数据集运行交互式分析查询。Spark SQL 带有一个内置功能，可以使用 JDBC 连接其他数据库，即“JDBC 到其他数据库”，它有助于联邦功能。
大数据领域 Hive 与 Spark 的集成应用
最新发布
AI天才研究院
05-10 844
随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。
Presto与Spark SQL查询性能比较
热门推荐
甘焕的博客
09-20 1万+
1. 数仓环境 指标名称 指标值 数据总量 24T 分区数量 24 存储类型 Text Spark SQL版本 Pres同版本 2. 分页查询 所有的计算时间都以秒为单位，执行的SQL语句如下： select * from mydb where year='2018' and month='09' and day='09' and remote_addr='...
Hive & Presto SQL 查询优化指南
晴天彩虹雨的博客
03-18 909
在实际查询时，可以结合分区优化、文件格式优化、JOIN 策略优化、SQL 语法优化等方式，提升 Hive 和 Presto 的 SQL 查询性能，减少查询延迟，提高资源利用率！🚀。
选型HDFS上跑Impala/Drill/Presto,Tez/Spark/MapReduce
hzp666的博客
02-11 679
一个数据仓库的构架了。底层HDFS，上面跑MapReduce／Tez／Spark，在上面跑Hive，Pig。或者HDFS上直接跑Impala，Drill，Presto。这解决了中低速数据处理的要求。 MapReduce是第一代计算引擎，Tez和Spark是第二代。 第二代的Tez和Spark除了内存Cache之类的新feature，本质上来说，是让Map/Reduce模型更通用，让Map和Reduce之间的界限更模糊，数据交换更灵活，更少的磁盘读写，以便更方便地描述复杂算法，取得更高的吞吐量。 大数据本
OLAP OLTP presto、druid、sparkSQL、kylin的对比分析，如性能、架构等，有什么异同？
z69183787的专栏
11-22 1万+
https://www.zhihu.com/question/41541395?sort=created https://www.cnblogs.com/andy6/p/6011959.html OLTP和OLAP的区别 联机事务处理OLTP（on-line transaction processing） 主要是执行基本日常的事务处理，比如数据库记录的增删查改。比如在银行
presto 使用 部署_Presto优缺点
weixin_36280648的博客
12-17 1359
Presto优缺点Presto中SQL运行过程：MapReduce vs Presto使用内存计算，减少与硬盘交互。 优点1）Presto与Hive对比，都能够处理PB级别的海量数据分析，但Presto是基于内存运算，减少没必要的硬盘IO，所以更快。2）能够连接多个数据源，跨数据源连表查，如从Hive查询大量网站访问记录，然后从Mysql中匹配出设备信息。3）部署也比Hive简单，因为Hive是基...
大数据-分布式大数据SQL查询可视化界面设计.zip
03-03
总的来说，"大数据-分布式大数据SQL查询可视化界面设计"这一主题涵盖了大数据处理的关键技术，包括分布式计算框架、SQL查询引擎以及用户友好的可视化工具。通过这些技术，我们可以更高效地管理和分析海量数据，为...
Presto 技术原理与应用：开源分布式 SQL 查询引擎
AI天才研究院
04-15 57
通过了解 Presto 的核心原理、架构设计和优化策略，我们可以更好地利用这一工具进行高效的数据分析，特别是在需要快速响应和跨数据源查询的场景中。随着大数据生态系统的不断发展，Presto 也在持续演进，以适应更广泛的应用需求和更复杂的数据环境。Presto 作为一个强大的分布式 SQL 查询引擎，通过其独特的内存计算、流水线执行和跨数据源查询能力，在大数据交互式分析领域占据了重要位置。它的核心特点是能够在多种不同的数据源上执行快速的交互式查询，而无需将数据全部移动到一个统一的数据仓库中。
PrestoonSpark：利用Spark加速Hive查询
AI天才研究院
06-06 1116
PrestoonSpark：利用Spark加速Hive查询 1. 背景介绍 在大数据时代,数据量的爆炸式增长给传统的数据处理系统带来了巨大的挑战。Apache Hive作为建立在Hadoop之上的数据仓库工具,支持使用类SQL语言进行数据查询,为大数据分析提供了重
01 presto 概述: 特性 优缺点 场景 架构
Pushkin.的博客
02-27 2075
Presto是一款开源的分布式并行计算(MPP)引擎，主要适用于大数据领域GB~PB量级数据源的秒级分析查询场景需求。 - Presto的产生是为了解决MapReduce模型太慢且不能通过BI等工具展现HDFS数据的问题 - Presto是一个计算引擎，它不存储数据，主要通过丰富的Connector,获取第三方的数据，并支持扩展
Presto优化
qq_32736999的博客
06-13 384
https://blog.youkuaiyun.com/FreeFishLy/article/details/79081764很详细写的
用引导操作给E-MapReduce集群安装presto组件
weixin_34099526的博客
06-12 204
当前emr最新版本1.3.0没有presto组件，需要额外安装。本文介绍如何用E-MapReduce引导操作来安装presto 0.147版本。引导操作可以在集群创建时执行指定的脚本，详见： 帮助文档 。我们要执行的引导操作是安装配置jdk8，安装配置presto 0.147，安装presto cli（可选）。 准备脚本 上传安装jdk8的脚本 当前em...
Presto简介相关
刘伊凡2.0
11-16 1416
我在实际业务中用Presto的原因 第一点也是最重要的一点跨库和跨数据源，什么概念？跨库：mysql中有A库a表，B库b表，用Presto SQL可以实现a,b两表的join操作。跨数据源:mysql中有A库a表，oracle中有B库b表，用Presto SQL可以实现a,b两表的join操作。集群部署，可水平扩展增强大的Presto SQL查询速度客户端可以是PHP，JAVA, Pyt
大数据工具——Presto
麦当当的博客
05-16 2785
Presto是一款分布式SQL查询引擎, Presto可以独立提供计算分析操作, 不需要依赖于其他的计算引擎。
Presto------分布式SQL查询引擎
qq_50215015的博客
12-03 1327
基于Presto分布式SQL查询框架的基本介绍
关于Hadoop
weixin_59091607的博客
03-15 1209
1）Presto：开源分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB级。Presto可以处理多数据源，是一款基于内存计算的MPP架构查询引擎。2）Kudu：与HBase类似的列存储分布式数据库，能够提供快速更新和删除数据的功能，是一款既支持随机读写，又支持OLAP分析的大数据存储引擎。3）Impala：高效的基于MPP架构的快速查询引擎，基于Hive并使用内存进行计算，兼顾ETL功能，具有实时、批处理、多并发等优点。
关于Spark和MapReduce，一篇文带你看清楚
star
03-11 4588
非结构化数据：指数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种格式的图片、视频等。其实除了结构化数据和非结构化数据，还有一类是半结构化数据，那什么是半结构化数据？半结构化数据：指非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、E-mail等；结构化数据类型是一种用户定义的数据类型，它包含一些非原子的元素，更确切地说，这些数据类型是可以分割的，它们既可以单独使用，又可以在适当情况下作为一个独立的单元使用。
Apache Calcite 优化器详解（二）
Baron_ND的博客
10-21 1324
什么是查询优化器 查询优化器是传统数据库的核心模块，也是大数据计算引擎的核心模块，开源大数据引擎如 Impala、Presto、Drill、HAWQ、 Spark、Hive 等都有自己的查询优化器。Calcite 就是从 Hive 的优化器演化而来的。 优化器的作用：将解析器生成的关系代数表达式转换成执行计划，供执行引擎执行，在这个过程中，会应用一些规则优化，以帮助生成更高效的执行计划。 关于 Volcano 模型和 Cascades 模型的内容，建议看下相关的论文，这个是 Calcite 优化器的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值