Apache Doris 3.0.3 版本正式发布

Apache Doris下载安装与启动 1、下载软件包 (1)官网 http://doris.apache.org/master/zh-CN/downloads/downloads.html 官网上需要下载源码进行编译安装。 (2)直接下载编译后软件包 https://www.dorisdb.com/zh-CN/download/community 2、解压&启动FE (1)解压 [root@node3 opt]# tar -zxvf apache-doris_apache-doris-0.12.0-incubating-bin.ta 阅读详情

亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

行为变更

  • 禁止在具有同步物化视图的 MOW 表上进行列更新。#40190

  • 调整 RoutineLoad 的默认参数以提升导入效率。#42968

  • 当 StreamLoad 失败时,LoadedRows 的返回值调整为 0。#41946 #42291

  • 将 Segment cache 的默认内存限制调整为 5%。#42308 #42436

新特性

  • 引入 enable_cooldown_replica_affinity 会话变量,用以控制冷热分层副本的亲和性。#42677

Lakehouse

异步物化视图

  • 引入新的物化视图属性 use_for_rewrite。当 use_for_rewrite 设置为 false 时,物化视图不参与透明改写。#40332

查询优化器

  • 支持关联非聚合子查询。#42236

查询执行

  • 增加了 ngram_search、normal_cdf、to_iso8601、from_iso8601_date、SESSION_USER()、last_query_id 函数。#38226 #40695 #41075 #41600 #39575 #40739

  • aes_encrypt 和 aes_decrypt 函数支持 GCM 模式。#40004

  • Profile 中输出变更的会话变量值。#41016 #41318

半结构化数据管理

  • 新增数组函数 array_match_all 和 array_match_any。#40605 #43514

  • 数组函数 array_agg 支持在 ARRAY 中嵌套 ARRAY/MAP/STRUCT。#42009

  • 新增近似聚合统计函数 approx_top_k 和 approx_top_sum。#44082

改进与优化

存储

  • 支持将 bitmap_empty 作为默认值。#40364

  • 引入 insert_timeout 会话变量,用以控制 DELETE 语句的超时时间。#41063

  • 改进部分错误提示信息。#41048 #39631

  • 改进副本修复的优先级调度。#41076

  • 提高了建表时对时区处理的鲁棒性。#41926 #42389

  • 在创建表时检查分区表达式的合法性。#40158

  • 在 DELETE 操作时支持 Unicode 编码的列名。#39381

存算分离

Lakehouse

  • Paimon Catalog 支持阿里云 DLF 和 OSS-HDFS 存储。#41247 #42585 查看文档

  • 支持读取 OpenCSV 格式的 Hive 表。#42257 #42942

  • 优化了访问 External Catalog 中 information_schema.columns 表的性能。#41659 #41962

  • 使用新的 Max Compute 开放存储 API 访问 Max Compute 数据源。#41614

  • 优化了 Paimon 表 JNI 部分的调度策略,使得扫描任务更加均衡。#43310

  • 优化了 ORC 小文件的读取性能。#42004 #43467

  • 支持读取 brotli 压缩格式的 parquet 文件。#42177

  • 在 information_schema 库下新增 file_cache_statistics 表,用于查看元数据缓存统计信息。#42160

查询优化器

查询执行

  • 优化了 sort 算子的内存使用。#39306

  • 优化了 ARM 下运算的性能。#38888 #38759

  • 优化了一系列函数的计算性能。#40366 #40821 #40670 #41206 #40162

  • 使用 SSE 指令优化 match_ipv6_subnet 函数的性能。#38755

  • 在 insert overwrite 时支持自动创建新的分区。#38628 #42645

  • 在 Profile 中增加了每个 PipelineTask 的状态。#42981

  • IP 类型支持 runtime filter。#39985

半结构化数据管理

权限

  • LDAP 新增配置项 ldap_group_filter 用于自定义过滤 group。#43292

其他

  • FE 监控项中的连接数信息支持按用户分别显示。#39200

问题修复

存储

  • 修复 IPv6 hostname 使用问题。#40074

  • 修复 broker/s3 load 进度展示不准确问题。#43535

  • 修复查询从 FE 可能卡住的问题。#41303 #42382

  • 修复异常情况下自增 id 重复的问题。#43774 #43983

  • 修复 groupcommit 偶发 NPE 问题。#43635

  • 修复 auto bucket 计算不准确的问题。#41675 #41835

  • 修复 FE 重启时流控多表不能正确规划的问题。#41677 #42290

存算分离

Lakehouse

  • 禁止带有隐式转换的谓词条件下推给 JDBC 数据源,避免不一致的查询结果。#42102

  • 修复 Hive 高版本事务表的一些读取问题。#42226

  • 修复 Export 命令可能导致死锁的问题。#43083 #43402

  • 修复无法查询 Spark 创建的 Hive 视图的问题。#43552

  • 修复 Hive 分区路径中包含特殊字符导致分区裁剪有误的问题。#42906

  • 修复 Iceberg Catalog 无法使用 AWS Glue 的问题。#41084

异步物化视图

  • 修复基表重建后,异步物化视图可能无法刷新的问题。#41762

查询优化器

  • 修复使用多列 range 分区时,分区裁剪结果可能有误的问题。#43332

  • 修复部分 limit offset 场景下计算结果错误的问题。#42576

查询执行

  • 修复 hash join 时 array 类型的大小超过 4G 导致 BE Core 的问题。#43861

  • 修复 is null 谓词运算部分场景下结果不正确的问题。#43619

  • 修复 bitmap 类型在 hash join 时输出结果不正确的问题。#43718

  • 修复一些函数结果计算错误的问题。#40710 #39358 #40929 #40869 #40285 #39891 #40530 #41948 #43588

  • 修复一些 JSON 类型解析的问题。#39937

  • 修复 varchar 和 char 类型在 runtime filter 运算时的问题。#43758 #43919

  • 修复一些 decimal256 在标量函数和聚合函数里使用的问题。#42136 #42356

  • 修复 arrow flight 在连接时报 Reach limit of connections 错误的问题。#39127

  • 修复 k8s 环境下,BE 可用内存统计不正确的问题。#41123

半结构化数据管理

  • 调整 segment_cache_fd_percentage 和 inverted_index_fd_number_limit_percent 的默认值。[#42224](https://github.com/apache/doris/pull/42224

  • logstash 支持 group_commit。#40450

  • 修复 build index 时 coredump 的问题。#43246 #43298

  • 修复 variant index 的问题。#43375 #43773

  • 修复后台 compaction 异常情况下可能出现的 fd 和内存泄漏。#42374

  • 倒排索引 match null 正确返回 null 而不是 false。#41786

  • 修复 ngram bloomfilter 索引 bf_size 设置为 65536 时 coredump 的问题。#43645

  • 修复复杂数据类型 JOIN 可能出 coredump 的问题。#40398

  • 修复 TVF JSON 数据 coredump 的问题。#43187

  • 修复 bloom filter 计算日期和时间的精度问题。#43612

  • 修复 IPv6 类型行存 coredump 的问题。#43251

  • 修复关闭 light_schema_change 时使用 VARIANT 类型 coredump 的问题。#40908

  • 提升高并发点查的 cache 性能。#44077

  • 修复删除列时 bloom filter 索引没有同步更新的问题。#43378

  • 修复 es catalog 在数组和标量混合数据等特殊情况下的不稳定问题。#40314 #40385 #43399 #40614

  • 修复异常正则匹配导致的 coredump 问题。#43394

权限

其他

第2章 Doris3.x分布式集群安装部署【亲测可用】 本文详细介绍如何亲自测试并成功搭建Doris 3.x最新版本的分布式集群。作者通过手把手的教程,引导读者完成从环境准备到集群配置的每一步骤,确保整个搭建过程顺利进行。Doris作为一款高性能、实时分析型数据库,其最新版本带来了诸多优化与改进,使得分布式集群的搭建更加高效稳定。本文旨在帮助读者快速掌握Doris 3.x分布式集群的搭建方法,以便在实际项目中应用并发挥其强大的数据分析能力。 阅读详情

相关推荐

第1章 Doris3.X概述

《Doris概述》一文全面介绍了Doris数据库系统。Doris是一种高性能、实时分析型数据库,旨在为用户提供快速、灵活的查询能力。其核心架构包括多个组件,协同工作以实现高效的数据处理和存储。Doris具备多种核心特性,如高并发查询、实时数据更新、自动扩展等,使其在处理大规模数据集时表现出色。文章还对比了Doris与其他数据库的差异,突出了其独特优势。Doris适用于多种应用场景,包括数据仓库、实时分析等,能够满足不同行业的需求。此外,文中还提到了多个正在使用Doris的企业和机构,证明了其在业界的广泛认可

大数据架构师,深耕车联网实时数仓。专注 Flink / Paimon / Doris 流批一体、CDC 同步与实时 AI 推理,把生产里的架构选型、作业实战和故障排查整理成 4 个连载系列,只写实测跑得通的方案,欢迎私信交流。 875

【Apache Doris】3.0存算分离|标准部署篇(一)

【Apache Doris】3.0存算分离|标准部署篇(一)

ith321的博客 6410

【SoloPi】SoloPi使用2-功能使用,录制回放

Soloπ是什么 Soloπ是一个无线化、非侵入式的Android自动化工具,公测版拥有录制回放、性能测试、一机多控三项主要功能,能为测试开发人员节省宝贵时间。 录制回放功能 Soloπ拥有录制操作的能力,用户只需要通过Soloπ执行用例步骤,Soloπ就能够将用户的操作记录下来,并且支持在各个设备上进行回放,这一切都能够在手机上独立完成。 ...

q_Catherine的博客 5827

Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化

亲爱的社区小伙伴们,我们很高兴地向大家宣布,在近期我们迎来了 Apache Doris 3.0 版本的正式发布,欢迎大家下载使用体验!3.0 版本是 Apache Doris 在湖仓一体演化路线上的重要里程碑版本。在 3.0 版本中 Apache Doris 增加了数据湖写回功能,用户可以在 Apache Doris 中完成多个数据源之间的数据分析、共享、处理、存储操作。结合异步物化视图等能力,Apache Doris 可以作为企业统一的湖仓数据处理引擎,帮助用户更好的管理湖、仓、数据库中的数据。

SelectDB 2852

神领物流-day01-项目概述

公司从2019年开始业务快速扩张,网点数量从138家扩展至540家,车辆从170台增长到800台。同时,原有的系统非常简单,比如车辆的调度靠人工操作、所有的货物分拣依靠人员,核心订单数据手动录入,人效非常低。随着业务不断演进,技术的不断提升,原有运输管理系统已无法满足现有快速扩展下的业务需求,但针对现有系统评估后发现,系统升级成本远高于重新研发。因此,公司决定基于现有业务体系进行重新构建,打造一套新的TMS运输系统,直接更替原有系统。

心飞为你飞 2254

Zemax实战录——非序列模式下的微透镜阵列仿真与优化

本文详细介绍了在Zemax非序列模式下进行微透镜阵列仿真的完整流程与优化技巧。文章重点阐述了从序列模式切换到非序列模式的必要性,并逐步指导如何搭建光源、阵列与探测器的仿真环境。核心在于通过调整圆锥系数等关键参数优化像差,并增加光线数以提升仿真精度与均匀性,为光学设计提供可靠依据。

weixin_28339967的博客 512

Apache Doris 3.0.6 版本正式发布

亲爱的社区小伙伴们,该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

2501_92584341的博客 1459

【WiFi软件开发】IOCTL和Netlink----用户空间和内核空间交互的两种方式

linux开发中通常会涉及用户空间和内核模块的交互。本文介绍了两种典型的用户空间和内核模块通信方式:ioctl和netlink

liuwe1ye的博客 2347

Apache Doris 3.0.4 版本正式发布

亲爱的社区小伙伴们,该版本持续在存算分离、湖仓一体、异步物化视图等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。

SelectDB 1887

STM32与HT7038的高精度电能计量系统设计与实现

本文详细介绍了基于STM32微控制器与HT7038三相电能计量芯片的高精度电能计量系统设计与实现。文章从项目选型出发,深入剖析了硬件电路设计、SPI驱动开发、芯片校准及系统集成等关键环节,为智能电表、能源监控等应用提供了高性价比且稳定的国产化解决方案。

pytorch8learner的博客 389

机器人轨迹规划——三次样条轨迹1(基于速度的求解方法)

三次样条轨迹是利用三次样条曲线来对给定的一系列点进行插值,从而得到一个光滑的轨迹。三次样条因为每段的多项式次数最高都是三阶的,所以可以得到2阶导数连续,也就是加速度连续的轨迹。假设给定了一系列的点q0q1q2qnq0​q1​q2​...qn​,以及每个点对应的参数t0t1t2tnt0​t1​t2​...tn​,计算一条三次样条曲线sts(t)st,该曲线通过给定的点q0q1q2qnq0​q1。

出门搔白首,若负平生志 1470

Apache Doris 4.0.3 版本正式发布

亲爱的社区小伙伴们,**Apache Doris 4.0.3 版本已正式发布。** 此版本新增了在 AI & Search、湖仓一体、查询引擎等方面的能力,并同步进行了多项优化改进及问题修复,欢迎下载体验! GitHub 下载:https://github.com/apache/doris/releases 官网下载:https://doris.apache.org/download

SelectDB 994

嵌入式STM32F407CET6移植OpenHarmony系统方法

文件末尾添加:export PATH=~/gcc-arm-none-eabi-10-2020-q4-major/bin:$PATH。编译完成文件输出在LiteOs源码目录下out/STM32F407_ATK_Explorer文件夹中。②点击connect to the target,下方会自动显示识别出来的芯片型号以及flash大小。⑤点击program verify并点击start,等待烧写并校验完成,你就能看到程序正在运行了。,在选择刚才我们说的Huawei_LiteOS.hex文件。

嵌入式技术开发 546

Doris使用

Doris使用

ronshi的博客 1034

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Doris安装

其中Leader和Follower组成一个Paxos选择组,如果 Leader宕机,则剩下的Follower 会自动选出新的Leader,保证写入高可用。2.设置最大虚拟块的大小,修改/etc/sysctl.conf 设置系统中每个进程可以拥有的最大内存映射区域数量,分别在103 和104上修改。1. 设置系统最大打开文件句柄数(注意这里的*不要去掉),分别在103 和104上修改。18.分发 FE,分别修改103 和104 上 FE节点IP。6.加载并使用内核,分别在103 和104上加载。

2403_83966289的博客 1263

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Doris安装及使用

Apache Doris 安装和使用

djl的专栏,blog.djlcx.cn好记 1302

Apache Doris 3.0核心特性和生产实践解读

上周Doris社区发布了Doris3.0版本,3.0版本被定位成湖仓一体演化路线上的重要里程碑版本。同时Doris官方社区已经更新了3.0版本的文档。3.0新特性很多,我们还是着重讲新特性中哪些是和真正开发息息相关的。哪些是需要你特别需要关注的。存算分离架构从 3.0 版本开始,Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。存算分离对计算与存储进行解耦,...

微信搜:import_bigdata,大数据领域硬核原创作者 2433

Doris【部署 01】Linux部署MPP数据库Doris稳定版(下载+安装+连接+测试)

Linux部署MPP数据库Doris稳定版(下载+安装+连接+测试)

Java与大数据相关实践内容分享! 2958

【Apache Doris】周FAQ集锦:第 17 期

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。 通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈,走对圈子跟对人,趣析数据、畅聊趋势,快进圈子! 1041

Doris安装部署入门

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

Aidon博客 8405

CentOS7下安装Doris

CentOS7下安装Doris

大头皮鞋的博客 2259

单机安装及部署Doris3.0.2(最新最全超级详细图文解说)

最新最全手把手教单机安装部署Doris

weixin_36467887的博客 7463

Doris 1.1.4 开发环境安装部署(Ubuntu)

doris 安装 1.1.4版本

mingtingshi的博客 1503

最新Doris安装部署(保姆级教程)

Doris详细部署

u013618714的博客 2万+
上一篇: 某全球领先网络解决方案提供商:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 的改造实践
下一篇: 峰会快讯:Doris Summit Asia 2024 圆满落幕!
SelectDB技术团队
博客等级 码龄4年 2119粉丝 483原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SelectDB技术团队

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值