adaptive query processing

最新推荐文章于 2025-08-15 22:56:20 发布
转载 最新推荐文章于 2025-08-15 22:56:20 发布 · 198 阅读 · 0
文章标签：

#java

本文档汇集了自适应查询处理(AQP)领域的多个研究资料，涵盖了AQP的基本概念、技术发展及其在数据库系统中的应用。包括来自马里兰大学、宾夕法尼亚大学等机构的研究者们的学术论文及教程，探讨了AQP如何通过动态调整查询计划来提高查询效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 http://www.cs.umd.edu/~amol/talks/VLDB07-AQP-Tutorial.pdf

https://www.cis.upenn.edu/~zives/research/aqp-survey.pdf

http://db.cs.berkeley.edu/papers/sigmod00-eddy.pdf

https://www.cs.umd.edu/class/spring2008/cmsc724/aqp-724.ppt

Amol Deshpande, University of Maryland Zachary G. Ives, University of Pennsylvania Vijayshankar Raman, IBM Almaden Research Center

https://www.microsoft.com/en-us/research/wp-content/uploads/2011/02/10381_abstracts_collection.2984.pdf

http://www.queryprocessor.com/category/adaptive-query-processing/

Spark 3.0 - AQE浅析 (Adaptive Query Execution)
Deegue
06-03 1万+
1、前言 近些年来，在对Spark SQL优化上，CBO是最成功的一个特性之一。 CBO会计算一些和业务数据相关的统计数据，来优化查询，例如行数、去重后的行数、空值、最大最小值等。 Spark根据这些数据，自动选择BHJ或者SMJ，对于多Join场景下的Cost-based Join Reorder（可以参考之前写的这篇文章），来达到优化执行计划的目的。 但是，由于这些统计数据是需要预先处理的，会过时，所以我们在用过时的数据进行判断，在某些情况下反而会变成负面效果，拉低了SQL执行效率。 AQE在执行过程中
Oracle 12c Adaptive Query Optimization
梅森上校的博客 业精于勤荒于嬉，形成于思毁于随。
09-25 918
Oracle 数据库每次升级，查询优化器（Query Optimization）都会发生一些重要的变化。Oracle数据库12C中优化器最大的变化是自适应查询优化。Adaptive Query Optimization是一组能力，它使优化器能够对执行计划进行运行时调整，并发现能够导致更好统计的附加信息。当现有的统计数据不足以产生最优计划时，这种新方法是非常有用的。在自适应查询优化中有两个截然不同的...
Eddies: Continuously Adaptive Query Processing
06-16
In large federated and shared-nothing databases, resources can exhibit widely fluctuating characteristics. Assumptions made at the time a query is submitted will rarely hold throughout the duration of query processing. As a result, traditional static query optimization and execution techniques are ineffective in these environments. Eddies algorithm gives some flexibility for dynamic data streaming's query processing.
SQL Server 2017中的自适应查询处理
culuo4781的博客
07-25 586
The SQL Server Query Processing Engine is the most complex and sophisticated part of SQL Server. This engine has many responsibilities, but one of the most important parts is to design the query e...
深入浅出SQL优化器原理
Lixora's DB Home
02-22 463
阿里云数据库已认证帐号8 人赞同了该文章1979年，第一款基于 SQL 的商业关系型数据库管理系统 Oracle V2 问世，也标志着第一款商用的 SQL 优化器诞生。理论上，成熟的优化器原型，更早可以追溯到 IBM 的 System-R 项目。现今，很多开源数据库和大数据优化器还是沿用 System-R 原型。SQL（Structured Query Language）是一种结构化的查询语言。它只描述了用户需要什么样的数据，而没有告诉数据库该如何执行。这使得有很多优化空间蕴含在 SQL 改写中，我们来看一
SkinnerMT: Parallelizing for Efficiency and Robustness in Adaptive Query Processing on ...【论文内容翻译】
u012280876的博客
06-30 127
传统的查询优化器基于粗粒度数据统计和许多简化的假设来选择连接顺序[34]。通常，这些假设(例如，统一的数据和不相关的查询谓词)并不成立。在这种情况下，查询优化器可能会生成执行成本超过最优值的查询计划。这些长期存在的问题最近促使机器学习用于查询优化[23,25,26,31]。该领域的大部分工作都集中在“内部查询学习”上。这意味着从过去的查询中获得的经验将用于为下一个查询做出更好的优化决策。然而，这样的方法可能会导致“冷启动”问题，并且对新数据或不寻常的查询(例如，引入新的用户定义函数的查询)没有帮助。
Adaptive Query Processing
04-05
### Adaptive Query Processing：一种动态调整查询执行策略的技术 #### 概述 《Adaptive Query Processing》一文由Amol Deshpande、Zachary Ives 和 Vijayshankar Raman 共同撰写，发表在《Foundations and Trends...
TKAP:Efficiently processing top-k query on massive data by adaptive pruning
02-10
算法利用自适应剪枝（Adaptive Pruning）技术，根据在数据检索过程中获取的信息调整剪枝规则，以此来减少不必要的数据处理量。算法之所以有效，是因为它不需要维护大量的候选者，也不需要针对特定属性子集构建辅助...
TKAP: Efficiently processing top-k query on massive data by adaptive pruning
02-22
In many applications, top-k query is an important operation to return a set of interesting points in a potentially huge data space. The existing algorithms, either maintaining too many candidates, or ...
Sybase Performance and Tuning Series：Query Processing and Abstract Plans
09-25
本文档旨在深入探讨Sybase Adaptive Server Enterprise (ASE) 15.x版本中的查询处理机制以及如何通过理解查询的抽象计划来优化查询性能。 #### 二、查询处理概述 查询处理是指数据库系统执行SQL查询的过程。这一...
azure云数据库_Azure SQL数据库的性能调优
culuo4781的博客
07-24 418
azure云数据库 With the latest versions of Azure SQL database, Microsoft has introduced a number of new mechanisms to help users and administrators better optimize their workload. 借助最新版本的Azure SQL数据...
sparksql优化_Spark原理Spark SQL 自适应执行优化引擎
weixin_39605835的博客
11-30 433
在本篇文章中，笔者将给大家带来 Spark SQL 中关于自适应执行引擎(Spark Adaptive Execution)的内容。在之前的文章中，笔者介绍过 Flink SQL，目前 Flink 社区在积极地更新迭代 Flink SQL 功能和优化性能，尤其 Flink 1.10.0 版本的发布，在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。但是在 SQL 功能完整性和生...
数据倾斜？Spark 3.0 AQE专治各种不服
微信搜：import_bigdata，大数据领域硬核原创作者
01-20 590
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在Spark SQL上...
Oracle 12c.1新特性--Adaptive Query Optimization(原创)
czmmiao的专栏
02-05 1394
概述众 说周知CBO通过统计信息决定sql的最优执行计划，如果统计信息不准确，谓词过于复杂，或者表连接基数估算不够准确便有可能导致错误的执行计划。在 12c之前，生成执行计划后，sql执行期间便无法改变执行计划。Oracle 12c的Adaptive Query Optimization便是为了避免使用效率低下的执行计划的新特性，该特性包含adaptive query optimization...
技术文档 | Pulsar 中的消息保留、过期及积压机制解析（上）
Apache Pulsar
08-13 960
由于不同Subscription的消费进度可能不同，有的较快，有的较慢，因此 Pulsar 对数据的删除是以该 Topic 中消费最慢的 Subscription 为基准，被它消费过后的数据才是可删除的。同样因为 Expiry 的二分查找机制，如果消息的时间戳是乱序的(在使用 Shared 模式的 Producer 的情况下，这很可能发生)， 可能会导致 Expiry 机制无法正确的移动游标，从而导致某些过期消息会被继续消费。正确的 Retention 策略应该是周期性的清理旧数据，
Java——琐碎知识点2
2401_88065518的博客
08-15 568
Java基础知识点：Java官方帮助文档、Scanner扫描器、快捷键、“==”做比较、获取代码运行时间、打印对象名时不会出现内存地址的类型、Arrays类常用方法、循环标号的使用、Lambda表达式、异常处理、Java浮点数的精度问题（BigDecimal）、DecimalFormat格式化数字工具、printf格式化输出
JavaScript 核心基础：类型检测、DOM 操作与事件处理
最新发布
热爱音乐和二次元！
08-15 731
本文系统梳理 JavaScript 核心知识点，包括数据类型检测规则、遍历方式、DOM操作和事件处理。重点解析 typeof 运算符对不同数据类型的检测结果，数组与对象的遍历方法差异，以及使用 querySelector 获取元素的现代方案。同时详细讲解事件绑定的两种方式（onclick 覆盖 vs addEventListener 多播）和事件冒泡机制，帮助开发者构建扎实的 JS 基础，写出更健壮的代码。
数据库自适应查询处理技术
"Adaptive Query Processing - Foundations and Trends in Databases, Vol.1, No.1, 2007, by Amol Deshpande, Zachary Ives, and Vijayshankar Raman" Adaptive Query Processing (AQP) 是数据库领域的关键研究...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值