比Hive高效7倍Facebook推新一代查询引擎Presto

最新推荐文章于 2024-10-09 19:24:15 发布
最新推荐文章于 2024-10-09 19:24:15 发布
阅读量1k 收藏
点赞数
本文介绍了Facebook开发的大规模数据查询引擎Presto的相关信息，包括其官方网站和技术文档资源。Presto适用于交互式分析查询，支持多种数据源。
cnbird2008
关注
Hadoop生态圈实战系列：第七篇 Presto SQL 查询引擎原理与使用
AI天才研究院
09-12 3117
作者：禅与计算机程序设计艺术 1.简介 Presto是一个开源的分布式SQL查询引擎，由Facebook在2012年开源，主要功能包括：支持复杂的联合、连接、过滤等操作；支持多种数据源如Hive、MySQL、PostgreSQL等；支持高效的基于内存计算；具有高度可扩展性，可以用于处理TB级的数据；并且
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1728
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Facebook谈 Hadoop，Hive，HBase和 A/B测试（转载）
weixin_33817333的博客
01-08 195
转自：http://www.infoq.com/cn/news/2010/07/facebook-hadoop-summit Hadoop峰会2010上，一系列Hadoop及其相关技术的大规模用户带来了演讲报告。值得注意的是，Facebook的主题演讲展示了他们使用Hive来作分析的详细信息。Mike Schroepfer,Facebook的工程副总裁，作了描述使用Hadoop所处理的Faceb...
基于Facebook的Hive开发
11-26
基于Facebook的Hive开发（Hive development at Facebook）
hadoop基础
weixin_34268610的博客
08-07 126
1 定义 hadoop是一个分布式系统架构。 2 基本模块 HDFS为海量数据提供了存储。 Map/Reduce为海量数据提供了计算。 3 子项目 Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop CommonHDFS: Hadoop分布式文...
Hadoop/Hive简介
DSIslander的专栏
12-31 681
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hadoop是一个存储计算框架，主要由两部分组成：   1，存储（Hado
Facebook数据查询引擎Presto教程（含配套资料）
08-28
版本：presto-server-0.214.tar软件版本 presto-cli-0.214-executableCentOS71、presto的起因 hadoop ---hdfs----MR（java）-----hivehive底层原理用MR，速度比较慢，公司hadoop集群主要集中于晚上到凌晨，平日工作时间负载不是很高。但在工作时间内，公司业务人员有实时查询的需求，现在主要借助于hive提供业务人员的查询。hive是基于MR类的SQL查询工具，他会输入的查询SQL解析为MapReduce，能极大的降低使用大数据门槛，让一般的业务人员可以直接准对大数据进行查询，但是有一个利弊，它的查询基于MR，会让人等待比较着急，等待的时间可能是几个小时或者一天。 spark基于内存提高改良的hive，sql，现在factbook在hive上面开发一套利器，准对hive可以通过sql语句快速查询，presto。2、Facebook为何开发Presto  Facebook的2011的数据仓库存储在少量大型hadoopfs集群，Hive是FaceBook在几年前专门为Hadoop打造的一款数据仓库工具，在以前，facebook的科学家和分析师一直靠hive进行数据分析.但hive使用MR作为底层计算框架，是专为批处理设计的，但是随着数据的不断增多，使用hive进行一个简单的数据查询可能要花费分钟或者几个小时，显然不能满足查询需求，FaceBooke也调研了其他比hive更快的工具，但是他们需要在功能有限的条件下做简单操作，以至于无法操作Facebook庞大的数据要求。2012年开始研究自己的框架--presto，每日可以超过1pb查询，而且速度比较快，faceBook声称Presto的性能比hive要好上10倍或者100倍，presto和hive都是facebook开发的 Presto是一个开源的分布式SQL查询引擎，适用于交互式查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决Facebook这样规模的商业数据仓库交互式分析和处理速度的问题Presto可以做什么 Presto支持在线数据查询，包括Hive kafka Cassandra关系数据库以及专门数据存储，一条Presto查询可以将多个数据源进行合并，可以跨越整个组织进行分析。Presto以分析师的需求作为目标，他们期望相应速度小于1秒到几分钟，Presto要么在使用速度的快的昂贵的商业方案，提高内存，要么是消耗大量的硬件进行快速查询。（128G 64G）本套课程教给如何在企业环境中使用Presto技术。
消息队列pulsar和存储系统bookkeeper和SQL查询引擎Presto
qq_35240226的博客
08-13 1669
pulsar和kafka最显而易见的区别是，pulsar支持多租户，有着资产和命名空间的概念，资产代表系统里的租户。假设有一个Pulsar集群用于支持多个应用程序（就像Yahoo那样），集群里的每个资产可以代表一个组织的团队、一个核心的功能或一个产品线。一个资产可以包含多个命名空间，一个命名空间可以包含任意个主题。 分区：pulsar和kafka一样都支持主题的多分区。 持久化：kafka文件存储，pulsar采用Apache BookKeeper存储。这也是pulsar的一个显著优点，k.
大数据十大开源查询引擎
清平乐的技术专栏
05-21 4133
1.Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为Map-Reduce任务进行运行，可以理解为披着SQL外衣的Map-Reduce。十分适合数据仓库的统计分析。 弊端：Hive是为方便用户使用Map-Reduce而在外面封装了一层SQL，由于Hive采用了SQL，它的问题域比Map-Reduce更窄，因为很多问题，SQL表达不出来，比如一些数据挖掘算法，推荐算法、图像识别算法等，这些仍只能通过编写Map-R
【大数据】大数据OLAP查询引擎选型对比
wnm23的专栏
04-10 7623
目前大数据比较常用的OLAP查询引擎包括：Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。不同引擎特点不尽相同，针对不同场景，可能每个引擎的表现也各有优缺点。
【大数据】一篇认识Hive
m0_46181896的博客
10-09 3623
文章目录一、数据仓库1.1、数据仓库概念1.2、数据仓库核心特征1.3、数据库和数据仓库的区别1.4、数据仓库分层架构[**重要**]1.5、ETL和ELT二、Apache Hive2.1、Hive的概念2.2、Hive的架构组件(非常重要)2.3、Hive和Mysql的区别三、Hive安装3.1、Metadata、metastore3.2、Hive的安装部署模式3.3、Hive的远程模式部署安装3.3.1、安装Hadoop3.3.2、安装MySQL3.3.3、安装Hive (==选择node1安装==)四
新一代数据仓库：Snowflake 弹性数仓介绍
过往记忆大数据
01-19 4805
本文来自大佬的投稿，作者：张剑。摘要我们生活在分布式计算的黄金时代。公有云平台几乎能够按需提供无限的计算和存储资源。同时，SaaS模型将企业级系统带给了无法负担成本和相关系统复杂性的用户...
实时查询引擎 - Facebook Presto 介绍与应用
liyongke89的专栏
08-31 1363
http://www.cnblogs.com/hd-zg/p/6904727.html   1. Presto 是什么   Facebook presto是什么，继Facebook创建了HIVE神器后的又一以SQL语言作为接口的分布式实时查询引擎，可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询，聚合，JOIN以及窗口函数等。除了Facebook这个创造都在使用...
使用presto调用hive
热门推荐
上海菁数信息技术
03-28 1万+
启动hive metastore服务 hive --service hivestore & 关于最后的一个&，告诉小白一下是后台运行的意思 presto配置使用hive插件 presto所在的文件中etc（自建）的catalog（自建）中hive.properties（自建文件）中配置 connector.name=hive-hadoop2#这个连接器的选择要根据自身集群情况结合插件包的
【微信小程序源码】小程序完整demo：飞翔的小鸟：canvas实现，java后端(适用1221).zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.youkuaiyun.com/ashyyyy/article/details/146464041
轴承噪声分析.zip
最新发布
09-06
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
podam-7.2.11.RELEASE.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
aws-java-sdk-redshiftdataapi-1.12.780.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
Presto：Facebook的分布式查询引擎详解与搭建
"Presto是一种由Facebook开发的开源分布式SQL查询引擎，专为低延迟、高并发的交互式分析设计。它支持OLAP（在线分析处理）操作，并能跨多个数据源级联，处理PB级别的大数据。Presto基于Java 8构建，采用内存计算优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值