Doris向量化执行引擎的实战优化策略

Doris向量化执行引擎的SIMD指令集优化实践 本文深入解析了Doris向量化执行引擎如何通过SIMD指令集(特别是AVX)实现性能飞跃。文章阐述了列式存储作为优化基石的重要性,并详细介绍了如何利用AVX intrinsics在核心算子中实现批量数据处理,结合LLVM编译优化与多线程并发,最终将现代CPU的硬件潜力发挥到极致,显著提升扫描、过滤、聚合等批量操作的执行效率。 阅读详情

1. 从“一行一行”到“一列一列”:向量化执行引擎到底好在哪?

如果你用过传统的关系型数据库,比如MySQL,处理一个几百万行的表做SUM、AVG这类聚合查询,是不是感觉有点慢?尤其是当你的业务数据量越来越大,报表需求越来越复杂的时候,那种“等结果等到花儿都谢了”的感觉特别明显。我以前做数据分析平台的时候就经常遇到这种头疼事,直到我开始接触像Doris这样的MPP数据库,特别是深入了解了它的向量化执行引擎,才算是找到了性能提升的“金钥匙”。

简单来说,你可以把传统的数据处理方式想象成在工厂里组装玩具。工人(CPU)从流水线上拿起一个玩具(一行数据),给它装上胳膊、腿、脑袋(执行各种计算操作),完成后再放下,再去拿下一个。这个过程叫“行式处理”或“标量处理”,一次就处理一个数据。而向量化执行引擎的做法就高级多了,它相当于给工人配了一个能同时抓取多个玩具的机械臂。这个机械臂一次性能抓起8个、16个甚至32个一模一样的玩具(这就是一个“向量”),然后工人同时给这8个玩具装上同一种零件(比如同时进行8次加法运算)。效率的提升是立竿见影的。

在Doris里,这个“机械臂”的核心技术就是CPU的SIMD指令集(单指令多数据流)。它允许一条CPU指令同时对一组数据(一个向量)进行操作。比如,原来你要做SELECT a + b FROM table,CPU得循环几百万次,每次做一次加法。现在,利用AVX2指令集,CPU可以一次性处理256位的数据,如果a和b是32位的整数,那一次就能同时算8对数的加法!这个速度的提升可不是一点半点,尤其是在处理海量数据的聚合、过滤、扫描时,优势巨大。

所以,向量化执行引擎不是什么虚无缥缈的概念,它解决的正是大数据场景下最核心的痛点:如何把CPU这个“计算引擎”的潜力榨干。它特别适合两类场景:一是交互式即席查询,你希望复杂的多表关联、分组聚合能在秒级甚至亚秒级返回;二是实时数据分析,数据源源不断地进来,你需要快速计算分钟级或秒级的聚合指标。接下来,我就结合自己踩过的坑和调优经验,跟你聊聊怎么让Doris的向量化引擎跑得更快。

2. 地基要打牢:数据结构的优化是第一步

很多朋友一上来就想着调参数、改并发,其实忽略了最根本的一点:向量化引擎的效率,很大程度上取决于你喂给它的数据“长得”好不好。如果数据本身的结构不利于向量化处理,后面再怎么优化SIMD和多线程,效果也会大打折扣。

2.1 列式存储:不仅仅是节省空间

Doris默认采用列式存储,这本身就是为向量化计算量身定做的。同一列的数据在物理上是连续存放的。这带来了几个巨大的好处:

  1. 极高的压缩比:同一列的数据类型相同,数值范围相近,用字典编码、行程编码(RLE)、Delta编码等方式压缩起来效果惊人。数据体积小了,从磁盘读到内存的I/O开销就小,这是性能提升的第一步。我实测过一个日志表,开启合适的压缩后,存储空间减少了70%,扫描速度直接翻倍。
  2. 极致的缓存友好性:CPU从内存读数据不是一个个字节读的,而是按“缓存行”(Cache Line,通常是64字节)一块块地拿。当进行SELECT sum(price) FROM sales这样的查询时,列式存储让CPU可以连续地把price这一列的数据成批地加载进高速缓存,然后向量化指令可以密集地对这一整块缓存数据进行计算,几乎没有“缓存未命中”导致的停顿。相比之下,行式存储时,为了拿price,你得把每一行里无关的user_id、timestamp等字段也一起加载进来,缓存里塞满了无用数据,效率低下。

那么,在表设计时如何为向量化优化呢?

  • 选择合适的数据类型:能用INT就别用BIGINT,能用FLOAT就别用DOUBLE。更小的数据类型意味着一个向量里能容纳更多数据元素。例如,AVX-512指令集可以处理512位向量,如果存INT8(1字节),一个向量能处理64个数;如果存DOUBLE(8字节),只能处理8个数。性能差出一个数量级。
  • 注意字段顺序:虽然Doris是列存,但建表时字段的顺序仍有讲究。把经常一起在查询条件(WHERE)中出现的字段,或者经常一起参与计算的字段,在定义时放得近一些。这有利于编码压缩时发现更好的模式,提升压缩率。比如(city, district, street)这样的地理位置字段连在一起定义,就比分散开要好。
  • 谨慎使用复杂类型:像JSON、HLL这类复杂类型,虽然灵活,但不利于向量化。如果字段需要频繁参与过滤或计算,尽量将其扁平化为标准的数值或字符串类型。

2.2 分区与分桶:让并行计算火力全开

向量化是在单个CPU核心上利用SIMD指令做并行,而Doris的分布式查询则是多个机器、多个核心同时干活。分区和分桶策略,决定了数据能否被均匀、高效地分发到这些并行计算单元上。

  • 分区(Partitioning):通常按时间(如dt字段)进行范围分区。这不仅能实现数据生命周期管理(TTL),更重要的是,对于时间范围的查询,可以快速裁剪掉无关的数据分区,极大减少扫描量。我建议分区的粒度要适中,不要过细(比如按小时分区,会产生大量小文件,增加元数据开销),也不要过粗(比如按月分区,一次查询即使只查一天也要扫描整月数据)。按天分区是常见且平衡的选择。
  • 分桶(Bucketing):分桶是在分区内,将数据打散到多个物理文件(Tablet)的过程。分桶列的选择至关重要,它应该满足:
    1. 高基数:列的唯一值较多,能保证数据均匀分布,避免数据倾斜。比如user_id、order_id就比gender(性别)要好得多。
    2. 常用作等值连接(JOIN)或分组(GROUP BY)的键。Doris在执行JOIN或GROUP BY时,可以在各个桶内部独立进行向量化计算,最后再合并结果,实现完美的并行。

一个常见的坑是分桶数设置不合理。分桶数应该略等于或数倍于集群BE节点数 * 每个BE节点用于查询的并发核数。比如你有3个BE,每个BE预留了8核做查询,那么总分桶数在24到96之间是比较合理的。分桶数太少,无法充分利用集群并行能力;分桶数太多,每个Tablet数据量太小,会增加调度开销和元数据压力。你可以通过SHOW PARTITIONS FROM your_table;查看各个Tablet的数据行数,理想情况下应该均匀且大小适中(如每桶100万-500万行)。

3. 榨干CPU的每一份算力:SIMD指令集与编译优化实战

数据准备好了,接下来就是让CPU的向量化能力发挥到极致。这里面的门道不少,有些是Doris内部自动做的,有些则需要我们通过配置和写法去配合。

3.1 理解并利用AVX2/AVX-512

Doris的向量化引擎主要利用Intel的AVX2(256位)和AVX-512(512位)指令集。你不需要自己写汇编,但了解其原理有助于写出更“向量化友好”的查询。

  • 确保运行环境支持:首先,确认你的Doris BE服务运行的物理机CPU支持AVX2(现在的主流服务器基本都支持)。可以通过在服务器上执行cat /proc/cpuinfo | grep avx2来检查。如果支持,Doris会在启动时自动检测并使用。
  • 避免“向量化中断”:SIMD指令要求数据在内存中对齐,并且连续。任何导致CPU无法连续处理一个向量的操作都会造成性能回退。常见的“中断”包括:
    • 控制流分支(if-else):在向量化计算中处理CASE WHEN或WHERE中的复杂条件判断时,如果条件模式杂乱无章,会迫使CPU回退到标量模式。尽量让条件表达式简单,或者考虑在数据预处理阶段就打好标签。
    • 函数调用:频繁调用非内联的UDF(用户自定义函数)是向量化的杀手。如果必须使用,尽量使用Doris内置的、已经过向量化优化的函数。比如,时间处理用date_trunc、years_add等,字符串处理用substr、like等。

3.2 拥抱表达式编译:LLVM的魔法

这是Doris向量化引擎里非常酷的一个特性:运行时编译(JIT)。对于复杂的表达式计算,比如 (a * 0.8 + b * 0.2) / sqrt(c),传统的解释执行需要一步步解析运算符,调用对应的函数,开销很大。Doris利用LLVM编译器框架,在查询执行前,将这样的表达式动态编译成本地机器码。

这样做的好处是:

  1. 消除解释开销:直接执行生成的紧凑机器码,跳过了虚拟指令解释的循环。
  2. 深度优化:LLVM可以进行循环展开、常量传播、死代码消除等高级优化,生成的代码质量堪比静态编译。
  3. 与SIMD完美结合:编译过程能识别出可以向量化的循环,自动生成使用AVX指令的优化代码。

如何确保用好这个特性?

  • 默认情况下,Doris的enable_vectorized_engine和enable_expr_compile都是开启的。你只需要确保BE节点有足够的内存(因为编译需要缓存生成的代码)。
  • 观察慢查询的Profile信息(通过SET enable_profile=true;然后执行查询,再SHOW PROFILE;)。如果发现ExprCompute或VectorizedExpr阶段耗时很长,而你的表达式又确实复杂,那么编译优化已经在努力工作为你加速了。如果这部分耗时占比不高,说明你的查询可能瓶颈在别处,比如I/O或网络传输。

4. 让多核CPU一起忙碌:并发调优策略

向量化解决了单个CPU核心的利用率问题,而多线程并发则是为了调动所有CPU核心。Doris在这方面的设计很成熟,但配置不当也会导致“一核有难,多核围观”。

4.1 理解Doris的并发模型

Doris的查询执行是Pipeline并行的。一个查询计划被切分成多个片段(Fragment),每个片段包含多个操作符(如Scan、HashJoin、Aggregation)。这些片段会被调度到不同的BE节点上执行,这就是节点间并行。在一个BE内部,一个片段的操作符之间形成流水线,同时,对于可以并行的操作符(如Scan),Doris会使用多线程来同时处理多个数据分片(Tablet),这就是线程级并行。

关键配置参数(在BE的be.conf中调整):

  • vectorized_exec_thread_num:这是最重要的参数之一,它控制每个BE节点上用于向量化查询执行的线程池大小。这个数不是越大越好! 建议设置为BE节点物理CPU核数的1/2到2/3之间。留出一些核给操作系统、其他组件和防止过载。例如,一台32核的机器,可以设置为16-20。设置过高会导致线程间频繁切换,增加系统开销,反而降低性能。
  • fragment_pool_thread_num 和 fragment_pool_queue_size:控制处理查询片段(Fragment)的线程池。通常fragment_pool_thread_num可以设置得和vectorized_exec_thread_num相同或略小。队列大小要足够,以防高并发查询被拒绝。
  • scan_thread_num:针对扫描操作的专用线程数。对于高频的、以扫描和过滤为主的点查或简单聚合查询,可以适当调高此参数(例如设为CPU核数),能更快地响应大量并发扫描请求。但对于复杂的分析型查询,保持默认值或与vectorized_exec_thread_num一致即可。

4.2 避免并发瓶颈与资源争抢

调优并发时,要时刻关注系统监控(如CPU使用率、内存、I/O等待)。

  1. I/O瓶颈:如果磁盘I/O是瓶颈(监控显示iowait很高),增加再多线程也只是让更多线程等待I/O,没用。这时应该考虑提升磁盘性能(使用SSD、RAID0),或者通过增加BE节点数来分散I/O压力。
  2. 内存带宽瓶颈:当所有核心都在疯狂地进行向量化计算时,对内存带宽的需求是巨大的。如果CPU使用率很高但查询速度上不去,可能是内存带宽饱和了。这在多路CPU服务器上更常见。解决方案有限:一是优化数据结构减少内存访问量(回到第二节),二是确保内存条配置正确(使用多通道),三是考虑使用计算密度更高、内存带宽更大的新型CPU。
  3. 锁竞争:在聚合计算等需要共享状态的操作中,Doris内部使用了无锁或细粒度锁数据结构来避免竞争。但在极高并发更新或某些特定聚合函数下,仍需注意。可以通过查询Profile观察是否有明显的锁等待。

我的经验是,先从小并发开始测试。将vectorized_exec_thread_num设为一个中等值(如8),运行你的典型工作负载,观察CPU利用率和查询延迟。然后逐步增加,直到CPU利用率达到70%-80%的甜蜜点,同时延迟没有明显上升。如果继续增加线程数导致延迟暴涨,说明遇到了其他瓶颈(如I/O、内存带宽或锁),就该停止增加了。

5. 实战案例:一个慢查询的优化全过程

光讲理论可能有点干,我来分享一个真实案例。我们有个订单分析表,每天新增千万级数据。有一个高频查询是统计过去7天,每个商品类目的销售额和订单量,并按销售额排序。最初需要12秒,业务方无法接受。

第一步:分析现状 通过EXPLAIN和PROFILE查看执行计划。发现大部分时间花在了OLAP_SCAN_NODE(全表扫描7天分区)和AGGREGATION_NODE(哈希聚合)上。扫描后数据量巨大,聚合压力大。

第二步:优化数据结构

  1. 检查分区:发现表是按create_date(日期)分区,但查询条件是pay_time(支付时间)。这导致无法分区裁剪!立刻修改表结构,改为按pay_time日期分区。仅此一项,查询时间从12秒降到5秒(因为只扫描了7个分区,而不是整个大表)。
  2. 检查分桶:原表分桶列是category_id和city_code,但查询只按category_id分组。分桶列包含city_code导致数据在桶内分布不够均匀,且对本次查询无益。我们重建了表,分桶列只使用category_id,并调整分桶数为48(匹配我们的集群规模)。这使得每个桶内的category_id高度集中,聚合时局部性更好。查询时间降到3秒。

第三步:优化查询与并发

  1. 改写查询:原查询在WHERE中使用了DATEDIFF(NOW(), pay_time) <= 7。这种函数包装导致无法在扫描时进行向量化过滤。改为显式的范围查询:pay_time >= ‘2023-10-24’ AND pay_time <= ‘2023-10-30’。让向量化引擎能直接对时间列进行高效的批量比较。时间降到2.5秒。
  2. 调整并发:观察发现,在扫描和聚合阶段,CPU利用率只有50%。我们将该BE节点的vectorized_exec_thread_num从默认的8调整到12(机器是16核)。同时,因为这是一个典型的扫描+聚合查询,我们把scan_thread_num也提到了12。查询时间最终稳定在1.8秒左右,CPU利用率达到85%,性能提升超过6倍。

这个案例告诉我们,优化是一个系统工程:分区/分桶设计是前提,查询写法是牵引,并发配置是助推器。三者结合,才能把向量化执行引擎的威力完全释放出来。

6. 监控与持续调优:让性能保持最佳状态

性能调优不是一劳永逸的。随着数据量的增长、查询模式的变化,需要持续关注。

  • 用好Doris的内置监控:Doris的Web UI(FE的8030端口)提供了丰富的监控指标。重点关注Query Latency、QPS、Scan Bytes、CPU Idle等。设置告警,当平均查询延迟或错误率超过阈值时及时通知。
  • 定期分析慢查询日志:Doris会记录慢查询。定期分析这些日志,找出共同的模式:是缺少合适的物化视图?是分区失效?还是出现了新的复杂连接查询?针对性地进行优化或建立索引(Rollup)。
  • 善用物化视图(Rollup):对于模式固定、计算耗时的聚合查询,建立物化视图是终极武器。Doris的异步物化视图可以自动维护,查询时如果能路由到物化视图,直接返回预计算结果,速度极快。比如,可以为上述案例创建按category_id和pay_date(天)聚合的物化视图,那么7天聚合查询会变成从7行预聚合数据中再做一次快速聚合,性能将是毫秒级。

最后我想说,向量化执行引擎是Doris高性能的基石,但它不是黑魔法。它的高效运行,离不开我们对其原理的理解,以及在表设计、查询编写和集群配置上的精心配合。多动手实验,多观察Profile,你就能逐渐掌握让数据“飞起来”的窍门。在实际使用中,每个集群、每种负载都有其特性,最好的配置往往来自于基于监控数据的反复试验和调整。记住,优化的目标是让资源(CPU、内存、I/O)达到平衡且高效的利用状态,而不是单纯追求某一个参数的极限值。

Apache Doris 在可观测性场景下的性能优势与实战调优 在数据处理领域,实时分析引擎是处理海量时序数据、支撑交互式查询的核心组件。其原理在于通过列式存储、向量化执行和分布式架构,实现对大规模数据的高效扫描与聚合,从而为业务决策提供即时洞察。这项技术的核心价值在于平衡了数据处理的吞吐量、查询延迟与资源成本,尤其在日志、指标等可观测性数据的实时分析场景中至关重要。面对高并发写入、复杂关联查询与成本控制的挑战,一个优秀的分析引擎需要具备卓越的工程实践能力。本文聚焦于**Apache Doris**这一实时分析数据库,通过模拟真实生产负载的基准测试,深入探讨了其如何利用 阅读详情

相关推荐

从SSE到AVX:图解Doris向量化引擎的CPU指令集进化之路

本文深入解析了Doris向量化引擎如何通过CPU指令集从SSE到AVX的进化实现性能飞跃。通过对比SSE和AVX的寄存器架构、性能差异及Doris的具体实现策略,揭示了SIMD指令集在现代OLAP系统中的关键作用,为数据库性能优化提供了实践指导。

weixin_30352645的博客 301

Doris向量化引擎实战:如何用AVX指令集提升查询性能3倍以上

本文深入探讨了如何通过启用和优化AVX2指令集,充分发挥Doris向量化执行引擎的潜力,从而实现查询性能3倍以上的提升。文章提供了从环境检查、基准测试建立到核心参数调优的完整实战指南,并分享了性能验证方法与常见陷阱,帮助中高级开发者和DBA最大化硬件性能。

Python的专栏 263

Doris与StarRocks对比:新一代OLAP引擎

随着数据量爆发式增长,企业对实时数据分析的需求从「事后统计」转向「实时决策」。OLAP(在线分析处理)引擎作为数据仓库体系的核心组件,需要在高并发查询、复杂聚合、实时数据摄入等场景下实现性能突破。Apache Doris(原百度 Palo)与StarRocks(原美团内部系统)作为国产OLAP引擎的双雄,均基于MPP(大规模并行处理)架构,但在技术路线上呈现显著差异。

欢迎来到我的优快云空间!这里聚焦AI大模型应用实战,分享前沿技术、实战案例与开发经验。 735

Doris使用详解

对于需要高并发、低延迟的企业级应用(如金融风控、电商大促),Doris 是替代传统 Hive+Impala 架构的理想选择。通过合理设计数据模型(选择 Duplicate/Aggregate Key)、优化分区分桶策略,并结合物化视图与向量化引擎,可显著提升查询效率。Apache Doris(原 Palo)是一个基于 MPP(大规模并行处理)架构的实时分析型数据库,专为高并发、低延迟的 OLAP(联机分析处理)场景设计。以下结合技术特性与适用场景,系统梳理 Doris 的十大高级能力,

技术人集结地 6696

Apache Doris查询优化全攻略:从SQL解析到向量化执行的性能调优

本文全面解析Apache Doris查询优化的全流程,从SQL解析到向量化执行的性能调优策略。通过实战案例和技巧分享,帮助开发者掌握Doris的查询优化核心方法,包括查询解析阶段的隐式类型转换避免、查询计划优化的谓词下推和分区剪枝,以及向量化执行引擎的调优实战,显著提升数据分析效率。

weixin_26834815的博客 100

Android应用加固脱壳实战:从爱加密原理到Frida内存Dump与修复

在移动应用安全领域,代码加固与动态加载是保护核心逻辑的关键技术。其原理在于通过修改应用启动流程,将原始DEX加密隐藏,并注入包含解密逻辑的壳DEX,实现运行时动态加载。这项技术的核心价值在于防止应用被逆向分析、二次打包或恶意篡改,广泛应用于金融、游戏等高安全要求场景。对于安全研究、漏洞挖掘或历史版本审计,掌握脱壳技能至关重要。本文聚焦于**爱加密**等主流加固方案,深入探讨如何利用**Frida**框架在内存中精准捕获解密后的DEX数据,并解决脱壳后常见的签名校验等运行问题,提供一套从原理到实践的完整攻防思

weixin_28716443的博客 493

Apache Doris向量化查询优化实战:3大性能提升策略+5个核心配置参数

还在为Apache Doris查询性能瓶颈而苦恼吗?面对海量数据分析场景,传统的行式查询引擎往往力不从心。本文将通过"场景痛点→技术方案→实战演练→性能优化"的四段式结构,带你深入掌握Doris向量化查询的核心优化技巧,让你的数据分析性能提升3-5倍。 ## 场景痛点:为什么我的Doris查询总是响应缓慢? 很多开发者在处理亿级数据量时都会遇到这样的困扰:同样的SQL语句,在Doris中执行需

gitblog_00060的博客 1138

Open3D:读写点云与可视化(C++)

迭代 //Open3D #include "Open3D/Open3D.h" //Eigen #include "Eigen/Dense" void testOpen3D::xjGetInformation(const QString &pcPath) { /* read PC */ auto cloud_ptr = std::make_shared<open3d::geometry::PointCloud>(); if (!open3d::io::ReadPointCl

累了就要打游戏 1万+

Apache Doris查询优化与执行引擎

Apache Doris查询优化与执行引擎 Apache Doris采用现代MPP架构实现高性能查询执行,通过并行处理、向量化执行引擎和自适应查询技术显著提升性能。文章详细解析了其MPP并行查询模型、向量化执行优化、自适应执行技术以及CBO与RBO优化器结合策略,展示了Doris如何在大规模数据分析中实现亚秒级响应和高吞吐量处理。 MPP并行查询执行模型 Apache Doris采用现代MPP(M...

gitblog_01052的博客 1234

关于三维全波电磁场仿真软件CST的安装和问题解决

百度网盘链接:https://pan.baidu.com/s/1RgWr8Qau1EzSOlh29SewFQ提取码:fzza这里是2023版本的CST,需要其他版本的uu们可以去官网或者其他人的网盘下载。

weixin_60728441的博客 3624

告别眼疲劳!保姆级教程:给你的SecureCRT v8.7.2换上护眼高亮配色(附透明背景设置)

本文提供了一份详细的SecureCRT v8.7.2护眼高亮配色方案教程,帮助程序员缓解眼疲劳问题。通过科学调整配色方案、动态环境自适应设置以及字体渲染优化,显著提升终端使用的舒适度和工作效率。特别推荐Solarized Dark和One Dark Pro医学适配版配色方案,适合长时间编码工作。

weixin_42549496的博客 356

Apache Doris查询引擎核心技术:MPP与向量化执行

本文深入解析了Apache Doris查询引擎的两大核心技术:MPP(大规模并行处理)架构和全向量化执行引擎。详细介绍了MPP引擎的并行执行机制,包括Pipeline执行模型、数据分区与交换机制、任务调度策略以及并行度控制;同时阐述了向量化执行引擎通过批量数据处理、CPU缓存优化、SIMD指令利用等技术实现的显著性能优势。文章还涵盖了自适应查询执行与运行时过滤技术,以及Pipeline执行引擎在多...

gitblog_00195的博客 724

ADS仿真设计平行定向耦合器学习笔记

ADS仿真设计平行定向耦合器

qq_36521926的博客 1万+

Apache Doris向量化执行引擎:SIMD指令如何加速查询性能5-10倍

Apache Doris作为一款高性能的统一分析型数据库,其向量化执行引擎通过SIMD指令技术实现了查询性能的5-10倍提升。这一突破性技术让Doris在宽表聚合场景中展现出卓越的性能表现,成为大数据分析领域的利器。 ## 🚀 向量化执行引擎的核心优势 Apache Doris的查询引擎完全向量化,所有内存结构均采用列式布局。这种设计大幅减少了虚函数调用,提高了缓存命中率,并充分利用了SIM

gitblog_00390的博客 684

【数据集】未来不同情景下预测数据:如人口、土地利用等

未来不同情景下预测数据:如人口、土地利用等

WW、forever的博客 2997

YOLOv11与3D点云检测融合技术深度解析:从2D检测到三维空间投影的完整实现

2D-3D融合目标检测技术研究 本文系统阐述了基于YOLOv11的2D-3D目标检测融合技术,重点分析了YOLOv11在融合系统中的定位优势及其架构设计。研究表明,2D图像与3D点云数据具有显著的互补特性:2D图像提供丰富语义信息,而3D点云则精确描述几何结构。 关键技术要点: YOLOv11通过GSConv平衡卷积和VoVGSCS特征融合模块,在保持实时性的同时提升了检测精度 系统采用模块化设计,包含坐标投影、点云分割、边界框拟合等核心组件 针对点云数据的非均匀分布特性,提出了多尺度特征增强和距离差异化检

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 1129

doris的优化器策略介绍

Doris 的优化器通过统计信息驱动代价评估、分布式计划优化、存储层协同等策略,显著提升复杂查询效率。用户可通过EXPLAIN命令查看执行计划,并结合统计信息收集(如)确保优化效果。

2301_80954266的博客 398

PyCharm 怎么不升级直接使用Jupyter Notebook

在PyCharm 中需要升级到 PyCharm Professional 版本,才能直接使用 Jupyter Notebook。从截图来看,Jupyter Notebook 已经成功启动,并且正在运行。这将在默认网络浏览器中打开一个新的标签页,显示文件浏览器界面。可以在这里创建和编辑。文件添加到 PyCharm 项目中,并使用纯文本编辑功能进行修改。支持与外部工具集成,可以配置它以调用命令行工具或脚本来启动。,参数可以根据需要设置,工作目录设置为项目根目录。,你仍然可以在本地环境中安装和运行。

Davina_yu的博客 999

Apache Doris性能优化全解析:慢查询定位与引擎深度调优

在海量数据与复杂查询场景下,Apache Doris 的性能有时候并不能达到预期,这时候就需要通过系统性调优匹配业务需求。本文将梳理从问题定位到引擎优化的全流程方法,帮助开发者精准挖掘系统性能潜能

涤生大数据 1898

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

活动回顾|Apache Doris 向量化技术实现与后续规划

...

ucanuup_的博客 3147

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

8. Doris 系列第8篇:查询引擎深度解析|MPP+Pipeline+向量化,从SQL解析到执行全流程

摘要:Doris查询引擎核心架构与优化实践 本文深入解析Doris 2.x查询引擎的核心架构与优化技术。作为OLAP数据库的关键枢纽,Doris查询引擎采用FE/BE分离架构:FE负责SQL解析、语义分析、查询改写和优化器处理,BE专注物理计划执行。文章详细拆解了从SQL解析到分布式执行的全流程,重点剖析了分区/桶裁剪、谓词下推等优化技术,以及RBO/CBO混合优化器的协同工作机制。针对MPP架构,介绍了计划分片和并行调度机制,并提供了生产环境调优实践建议。通过理解这些底层原理,开发者可有效解决查询性能瓶颈

juniperhan的博客 592

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Apache Doris 实战优化:向量化执行与 CPU 指令级性能调优

Apache Doris 通过向量化执行引擎、模板编译消除虚函数、Jemalloc+Arena 内存池、Pipeline 用户态调度四大核心技术,将 CPU 算力推向理论极限。在 SSB-Flat 上性能提升近 10 倍,TPC-H 上提升超过 11 倍,单 SQL 最高提速 70 倍。:Apache Doris · 向量化执行 · SIMD · AVX-512 · Pipeline 引擎 · 模板编译 · Jemalloc · CPU 优化 · 性能调优 · OLAP。

SelectDB 242

OLAP引擎选型终极对比:ClickHouse vs Doris vs StarRocks的性能基准

OLAP引擎选型是数据架构中最具挑战性的决策之一。ClickHouse、Apache Doris和StarRocks三者在性能基准上的差异,直接影响着后续数年的架构方向。本文基于一个完整的选型项目,提供三引擎的真实Benchmark数据对比和场景化决策指南。

guoyizhongxing的博客 4247

Apache Doris 向量化执行与 CPU 性能优化:技术能力、选型对比与实践

Apache Doris 通过向量化执行引擎、模板编译、Jemalloc+Arena 内存池和 Pipeline 用户态调度四大核心技术,将 CPU 算力推向理论极限。在 SSB-Flat 上性能提升近 10 倍,TPC-H 上提升超过 11 倍,单 SQL 最高提速 70 倍。相比 ClickHouse 在 SSB 上快 3 倍、TPC-H 快 60 倍,在实时更新场景快 14-18 倍。

SelectDB 215

Doris学习笔记之优化

本文记录了Doris优化的一些方法或原则,比如查看QueryProfile、Join优化原则等,并介绍了Bitmap索引和布隆索引,以及优化的原理等

四国棋客 4226
上一篇: 从高斯法则到幂律法则——12种概率分布的实际应用解析
下一篇: 解决ORB-SLAM2轨迹评估中evo时间戳格式不匹配的实战技巧
code8
博客等级 码龄17年 65粉丝 1720原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值