presto的坑

最新推荐文章于 2020-10-12 12:36:51 发布
原创 最新推荐文章于 2020-10-12 12:36:51 发布 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Presto坑-insert overwrite & 传递参数替代方案
ISIS7Protessional的博客
12-12 7813
一、presto不支持insert overwrite Presto中不支持insert overwrite语法，只能先delete，然后insert into。 详见：Presto上使用SQL遇到的一些坑：https://segmentfault.com/a/1190000013120454 二、presto不支持传递参数到.sql文件 可通过shell脚本中的sed将.sql文件中的变量替换掉...
Presto与众不同的那些坑
数据小红的博客
11-27 7184
写在前面： presto官方文档https://prestodb.io/docs/0.215/functions.html 一、时间差 presto 时间差： select date_diff('day',cast('2018-09-05' as date),cast('2018-09-07' as date)); hive 时间差: select datediff('2018-0...
presto踩坑记录
q760205738的博客
07-06 637
presto坑记录 presto踩坑记录 presto.jar的坑 以后记得从英文官网下 Query is gone (server restarted?) 还好发现了这个 https://blog.youkuaiyun.com/yyoc97/article/details/78963703 …
SQL Server slow query
tianlianchao1982的专栏
07-25 683
SELECT TOP 20 SUBSTRING(qt.text, (qs.statement_start_offset/2)+1, ((CASE qs.statement_end_offset WHEN -1 THEN DATALENGT
Presto上使用SQL遇到的一些坑
忙着赚钱的博客
07-17 1335
Presto的是什么？优势是什么呢？从官方文档中我们了解到 Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。 千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。 Presto被设计为数据仓库和数据分析产品：数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。 所以说，当公司业务有跨库分析时（一般情况是，业务数据库分布在各个部门），一些数据需要配合其他部门的数据进行关联查询，这个时候可以考虑Presto。但是目前，对
Presto JDBC连接官方指南与坑点记录
热门推荐
Deegue
02-21 1万+
1、添加依赖 <dependency> <groupId>io.prestosql</groupId> <artifactId>presto-jdbc</artifactId> <version>312</version> </dependency> Driver为io.pre...
hbase-presto-phoenix遇到的坑
ghostyusheng 's blog
10-12 2260
phoenix: 1.表/字段名要加双引号。 2.不加双引号，默认英文单词，创建的表/字段为大写。 3.select 字段的时候要加单引号 select * from "aaa" where "name" = 'zys' 等价于 select * from AAA where NAME = 'zys' 4.联动hbase， hbase int用phoenix bigint类型，直接用代码操作hbase存int类型（正负数）， 会导致在phoenix select * from tb 操作读不出来数据.
SQL Service can not be restarted due to errors of upgrade step
aoyi6589的博客
12-10 301
Errors: Script level upgrade for database 'master' failed because upgrade step 'sqlagent100_msdb_upgrade.sql' encountered error 5833, state 1, severity 16. This is a serious error condition whic...
Facebook Bigdata - Presto 0.81 版本说明
笑看云飞处 - 专注于:互联网 电子商务 大数据 欢迎来访!
11-10 1132
Facebook Bigdata - Presto 0.81 版本说明 http://prestodb.io/docs/current/release/release-0.81.html
记录使用presto中的一些坑
Aries
08-08 7702
1.列名为中文的时候不能用`` (tab上方那个键)，需要用""，例如： select user_id as "用户ID" from order 2.没有ifnull()，可替代为： 1.coalesce(expr,defaultvalue) 2.if(expr is not null,expr,defaultvalue) to be continued ...
(部分转载)Presto上使用SQL遇到的一些坑
weixin_34008805的博客
08-07 1829
2019独角兽企业重金招聘Python工程师标准>>> ...
（四）PrestoDB源码解析(一)
Sunhighlight的博客
06-15 1719
presto-cli模块 概要 该模块主要负责查询SQL的客户端功能，利用RESTful请求实现SQL语句的查询。 PrestoDB可以通过presto-cli客户端和JDBC连接这两种方法实现SQL的查询。 presto-cli模块查询流程：通过用户输入SQL将语句组装成一个RESTful请求，发送给Coordinator执行该SQL,并启动查询方法，分批查询结果，不断返回给客户端并在前端显示...
presto配置及练习
yinlei_81的专栏
04-15 1096
Presto Server 配置 解压缩 presto-server-0.166.tar.gz tar zxvf presto-server-0.166.tar.gz   在 presto-server-0.166 目录下创建 etc 目录 cd presto-server-0.166 mkdiretc   在 etc 目录下创建 catalog 目录 cd etc
Alluxio计算框架整合系列 (二) -- Alluxio & Presto
火星人 & 大数据专栏
01-17 3221
我们在上篇文章中，已经演示了如何安装Alluxio，并将HDFS作为Alluxio的底层文件系统; 以及 Alluxio & Apache Hive的整合过程。 这里我们将通过一系列的文章，来说明如何将Alluxio和常见的一些结算框架实现集成，用以提交查询。 本篇，将说明如何实现 Alluxio和来自FaceBook的Presto集成（Presto是完全基于内存的计算框架；）。
一些presto语句记录
zz_1111的博客
12-17 4462
1、找出时间大于2018-12-17的所有内容 select * from table where "time" &gt; date('2018-12-17')  与关系型数据库不同的是完全不同类型的不可以比较，类似的才可以比较，关系型数据库的 2、针对完全不同类型的进行比较，也可以使用cast函数，用法：cast(value as type) 比如      select * from ...
presto
最新发布
08-05
<think>首先，用户的问题是关于“Presto 使用指南 常见问题 特性”。我需要根据系统指令和提供的引用来构建回答。 系统指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 用户可见层： - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考引用： - [^1]: 关于Presto版本兼容性、内存管理和磁盘I/O优化。 - [^2]: Presto工具和资源，如Web UI、CLI、JDBC Driver等。 - [^3]: 使用count或approx_distinct避免低效聚合。 - [^4]: Presto查询处理流程：解析、优化、执行。 - [^5]: 查询执行器、任务分配、结果合并。 用户的问题集中在“Presto 使用指南 常见问题 特性”，所以我需要覆盖： - 特性：Presto的核心功能，如分布式查询、内存处理等。 - 使用指南：如何设置和使用Presto。 - 常见问题：常见问题及其解决方案。 结构回答： 1. **介绍Presto**：简要说明Presto是什么。 2. **主要特性**：列出关键特性。 3. **使用指南**：包括安装、配置、基本用法。 4. **常见问题**：常见问题及优化建议。 5. **生成相关问题**：在结尾添加相关问题。 确保引用自然：在回答中，当提到引用内容时，添加引用标识。 大纲： 1. **引言**：定义Presto。 2. **核心特性**： - 分布式SQL查询引擎。 - 内存处理优化。 - 支持多种数据源。 - 查询优化技术。 3. **使用指南**： - 安装和设置。 - 基本查询操作。 - 监控和管理工具。 4. **常见问题与解决方案**： - 性能优化（如内存管理、磁盘I/O）。 - 聚合优化（如使用approx_distinct）。 - 版本兼容性问题。 5. **结论**：总结优势。 6. **相关问题**：生成3-5个相关问题。 引用应用： - 当提到版本兼容性时，引用[^1]。 - 当提到工具时，引用[^2]。 - 当提到聚合优化时，引用[^3]。 - 当提到查询处理时，引用[^4]和[^5]。 使用中文回答。 生成相关问题：例如： 1. 如何优化Presto的内存使用？ 2. Presto支持哪些数据源？ 3. 如何处理Presto中的慢查询？ 4. Presto的集群部署最佳实践是什么？ 5. Presto与其他查询引擎的比较？ 确保LaTeX正确：如果有数学表达式，使用$...$或$$...$$。但在这个主题中，可能不需要太多数学，但如果有，比如在优化中涉及公式，就使用。 例如，如果提到approx_distinct，可以解释其数学原理，如$approx_distinct(x) \approx \text{estimated distinct count}$。 现在，构建回答。</think>### Presto 使用指南、常见问题与特性详解 Presto 是一个开源的分布式 SQL 查询引擎，由 Facebook 开发，专为大数据分析场景设计。它支持多种数据源（如 HDFS、MySQL、Cassandra 等），并利用内存计算优化查询性能，适用于交互式查询和实时分析。以下我将从特性、使用指南和常见问题三个方面，逐步为您解析 Presto，确保内容基于可靠参考。 #### 1. Presto 的核心特性 Presto 的核心优势在于其高性能和灵活性，主要特性包括： - **分布式架构**：Presto 采用协调器（Coordinator）和工作节点（Worker）的架构，支持水平扩展。查询被分解为并行任务，分布在多个节点执行，提升吞吐量[^4]。 - **内存优化处理**：Presto 优先使用内存进行计算，减少磁盘 I/O，从而加速查询响应。例如，它通过内存管理参数（如 `query.max-memory-per-node`）优化资源分配[^1]。 - **多数据源支持**：支持连接异构数据源（如 Hive、Kafka、PostgreSQL），用户只需一个 SQL 查询即可跨源分析数据。 - **查询优化技术**：Presto 在解析 SQL 后生成抽象语法树（AST），并进行优化（如消除冗余计算、合并查询计划），最终转换为有向无环图（DAG）执行[^4]。这包括近似聚合函数（如 `approx_distinct`），用于高效统计唯一值，避免全表扫描带来的性能瓶颈[^3]。 - **实时监控工具**：内置 Web UI 和 CLI 工具，便于监控集群状态、查询执行详情和资源使用情况[^2]。 #### 2. Presto 使用指南 以下指南基于实际部署和操作经验，帮助您快速上手。 ##### 安装与配置 - **部署步骤**： 1. **下载与安装**：从 Presto 官网获取二进制包或 Docker 镜像（Presto 提供预构建的 Docker 镜像，简化测试部署）[^2]。 2. **配置文件设置**： - `config.properties`：设置协调器和工作节点参数，例如： ```properties coordinator=true http-server.http.port=8080 query.max-memory=50GB ``` - `catalog` 目录：添加数据源连接配置，如 `hive.properties` 用于 Hive 集成。 3. **启动集群**：运行 `bin/launcher start` 启动服务。Web UI 默认在 `http://localhost:8080` 提供监控界面[^2]。 - **基本查询操作**： - 使用 Presto CLI 或 JDBC Driver 执行 SQL。例如，查询 Hive 表： ```sql SELECT customer_id, SUM(amount) FROM hive.sales.sales_data GROUP BY customer_id; ``` - 对于大数据集，使用近似函数优化性能： ```sql SELECT approx_distinct(user_id) FROM sales; -- 估计唯一用户数，避免高开销的精确计数[^3] ``` - **监控与管理**： - **Web UI**：实时查看查询状态、节点负载和错误日志。 - **CLI 工具**：命令行执行查询，支持批处理模式。 - **JDBC 集成**：通过 JDBC Driver 连接 BI 工具（如 Tableau），实现可视化分析[^2]。 ##### 最佳实践 - **资源调整**：根据集群规模调整内存参数。例如，在 Presto 0.25+ 版本中，增加 `query.max-memory-per-node` 可提升大查询处理能力，但需注意版本兼容性差异[^1]。 - **数据源优化**：对频繁查询的表添加分区或使用 ORC/Parquet 列式存储，减少 I/O 开销。 #### 3. 常见问题与解决方案 Presto 在实际使用中可能遇到以下问题，这里提供基于参考的优化建议。 - **问题 1: 查询性能慢或超时** - **原因**：内存不足或磁盘 I/O 瓶颈。Presto 依赖内存计算，若数据溢写到磁盘，性能会下降。 - **解决方案**： - 增加 `query.max-memory` 参数值，并监控 Web UI 的内存使用情况。 - 优化磁盘 I/O：使用 SSD 存储或配置 `spill-enabled=true` 控制溢写行为[^1]。 - 重写查询：避免复杂 JOIN 或使用 `LIMIT` 子句缩小数据集。 - **问题 2: GROUP BY 聚合效率低** - **原因**：全表扫描导致高延迟，尤其在处理海量数据时。 - **解决方案**： - 使用近似函数如 `approx_distinct` 替代 `COUNT(DISTINCT)`，减少计算开销。例如，`SELECT approx_distinct(user_id) FROM sales;` 提供快速估计值[^3]。 - 添加索引或分区键，加速数据过滤。 - **问题 3: 版本升级兼容性问题** - **原因**：不同 Presto 版本（如 0.25 vs 0.26）在内存管理或语法支持上有差异。 - **解决方案**： - 测试升级前，备份配置文件并参考官方文档的迁移指南。 - 逐步更新参数，确保新版本默认值兼容旧集群设置[^1]。 - **问题 4: 结果合并错误** - **原因**：分布式执行中，任务分配不均导致部分节点失败。 - **解决方案**： - 检查查询执行器日志：Presto 的 Worker 节点执行任务后，协调器合并结果时可能出错。优化查询计划，减少中间数据大小[^5]。 - 启用重试机制：在配置中设置 `retry-policy=QUERY` 自动重试失败任务。 #### 总结 Presto 凭借其分布式架构、内存优化和多源支持，成为大数据分析的强大工具。通过合理配置和查询优化，可显著提升性能。常见问题多源于资源限制或版本差异，建议参考官方文档和社区资源（如 Presto Slack 社区）获取支持[^2]。未来，Presto 的发展将聚焦于云原生集成和 AI 驱动的自动优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值