Apache Doris 2.0.2 版本正式发布!

Flink+Doris 2.0.2 部分列更新全流程:从MySQL CDC到实时同步的完整配置 本文详细介绍了如何利用Flink CDC与Doris 2.0.2实现MySQL数据的实时同步,重点解析了部分列更新的高效实现原理与配置流程。通过环境准备、Doris部分列更新机制剖析、完整同步流程实现及生产环境问题解决方案,帮助开发者构建高性能的实时数据管道,显著提升数据处理效率。 阅读详情

峰会官网已上线,最新议程请关注:doris-summit.org.cn 点击报名

亲爱的社区小伙伴们,Apache Doris 2.0.2 版本已于 2023 年 10 月 6 日正式发布,该版本对多个功能进行了更新优化,旨在更好地满足用户的需求。有 92 位贡献者为 Apache Doris 2.0.2 版本提交了功能优化项以及问题修复,进一步提升了系统的稳定性和性能,欢迎大家下载体验。

GitHub下载:https://github.com/apache/doris/releases/tag/2.0.2-rc05

官网下载页:https://doris.apache.org/download/

重要更新


  • 删除与 lambda 函数语法冲突的 json“->”运算符,可以使用函数 json_extract 代替。#24679
  • 将 metadata_failure_recovery 从 fe.conf 移动到 start_fe.sh 参数,以避免异常操作。#24308
  • 对于普通类型中的 null 值使用 \n 来表示,对于复杂类型或嵌套类型的 null 值,跟 JSON 类型保持一致、采取 null 来表示。#24207
  • 优化 BE 节点 priority_network 配置项的绑定策略,如果用户配置了错误的 priority_network 则直接启动失败,以避免用户错误地认为配置是正确的。如果用户没有配置 priority_network,则仅从 IPv4 列表中选择第一个 IP,而不是从所有 IP 中选择,以避免用户的服务器不支持 IPv4。 #23795 #23784
  • 支持取消正在重试的导入任务,修复取消加载失败的问题。#17730

功能优化


01 易用性提升

  • 某些场景下,用户需要向集群中添加一些自定义的库,如 lzo.jar、orai18n.jar 等。在过去的版本中,这些 lib 文件位于 fe/lib 或 be/lib 中,但在升级集群时,lib 库将被新的 lib 库替换,导致所有自定义的 lib 库都会丢失。在新版本中,为 FE 和 BE 添加了新的自定义目录 custom_lib,用户可以在其中放置自定义 lib 文件。#23887
  • 支持基于用户角色的权限访问控制,实现了行级细粒度的权限控制策略。#23022

02 改进查询优化器 Nereids 统计信息收集

  • 在运行 Analysis 任务时禁用 File Cache,Analysis 任务是后台任务,不应影响用户本地 File Cache 数据。#23663
  • 在过去版本中,查看列的统计信息时将忽略出现错误的列。在新版本中,当 min 或 max 值未能反序列化时,查看列的统计信息时将使用 N/A 作为 min 或 max 的值并仍显示其余的统计信息,包括 count、null_count、ndv 等。#23703
  • 支持 JDBC 外部表的统计信息收集。#23965
  • 跳过__internal_schema和information_schema上未知列的统计信息检查。#24625

03 Multi-Catalog 功能优化

  • 支持 Hadoop Viewfs;#24168
  • 优化 JDBC Catalog Checksum Replay 和 Range 相关问题; #22369
  • 优化了 JDBC Catalog 的 Property 检查和错误消息提示。 #23868
  • 修复了 MaxCompute Catalog Decimal 类型解析问题以及使用对象存储地址错误的问题。#24242
  • 支持 Hive Metastore Catalog 的 SQL Cache。#23391
  • 提高了 Hive Metastore Catalog 的元数据同步性能。#22869
  • 添加 metadata_name_ids 以快速获取 Catalogs、DB、Table,在创建或删除 Catalog 和 Table 时无需 Refresh Catalog, 并添加 Profiling 表从而与 MySQL 兼容。#22702

04 倒排索引性能优化

  • 增加 bkd 索引的查询缓存,通过缓存可以加速在命中 bkd 索引时的查询性能,在高并发场景中效果更为明显; #23952
  • 提升倒排索引在 Count 算子上的查询性能;#24678
  • 提升了 Match 算子在未命中索引时的效率,在测试表现中性能最高提升 60 倍;#24751
  • 提升了 MATCH 和 MATCH_ALL 在倒排索引上的查询性能;#23871 #24389

05 Array 函数优化

  • 优化了老版本查询优化器 Array 函数无法处理 Decimal 类型的问题;#23630
  • 优化了array_union 数组函数对多个参数的支持;#24327
  • 支持通过 explode 函数来处理数组嵌套复杂类型;#24455

Bug修复


该版本修复了之前版本存在的部分 Bug,使系统整体稳定性表现得到大幅提升,完整 BugFix 列表请参考 GitHub Commits 记录:https://github.com/apache/doris/issues/25011

Apache Doris (incubating) 1.0 Release 版本正式发布 亲爱的社区小伙伴们,历时数月,我们很高兴地宣布,Apache Doris (incubating) 于 2022 年 4 月 18 日迎来了 1.0 Release 版本的正式发布!这是 Apache Doris 在进入 Apache 基金会孵化以来的第一个 1 位版本,也是迄今为止对 Apache Doris 核心代码重构幅度最大的一个版本! 有 114 位 Contributor 为 Apache Doris 提交了超过 660 项优化和修复**,感谢每一个让 Apache Doris 变得更好的你!. 阅读详情

相关推荐

SPSS_Process—简单&平行&链式中介模型

本篇文章介绍采用SPSS的插件Process对简单中介、链式中介、平行中介模型进行检验的操作方法及结果解读。

m0_54401011的博客 4万+

Apache Doris 2.0 如何实现导入性能提升 2-8 倍

Apache Doris 2.0 进一步增强数据导入能力,性能提升 2-8 倍,加速数据实时处理和分析效率!

SelectDB 3241

DDR March系列算法整理

一

不吃鱼的猫的博客 1万+

【Doris实战】Apache-doris-2.0.2部署帮助手册

doris-2.0.2部署帮助手册

有问题的请私信或关注v【技术印记】留言 3645

Ubuntu登录界面黑屏?手把手教你排查和修复LightDM启动失败(附debug命令详解)

本文详细介绍了Ubuntu系统中LightDM(Light Display Manager)启动失败导致登录界面黑屏的排查与修复方法。通过系统状态检查、调试模式分析、常见故障解决方案及高级调试技巧,帮助用户快速定位并解决LightDM相关问题,恢复正常的图形登录环境。

weixin_34005090的博客 314

电子结构设计(EMD)十年知识总结

客官,你的面相是做结构设计的奇才~1. 材料选择【一出手的0.1s就败了】2. 钣金件设计【折来折去有啥难】3. 塑胶件设计【看着好复杂】4. 型材件设计【凭啥不让我设计】5. 电子结构(PCBA)设计【静电肿么要我背锅】6. 包装设计【要的就是金玉其外,败絮其中】7. 外观(工业)设计【好不好看,谁说了算】8. 标签设计【】9. 标准件选择【一个螺丝难倒英雄汉/提起螺丝,英雄气短】10. 计算仿...

wfeng86的博客 1568

Apache Doris安装过程

0.系统与版本要求 Linux 操作系统版本需求 Linux 系统 版本 CentOS 7.1 及以上 Ubuntu 16.04 及以上 虽然要求centos7以上,但是实测在centos8安装会出现某些依赖一直安装不上的问题,因此建议安装在centos7上 软件需求 软件 版本 Java 1.8 及以上 GCC 4.8.2 及以上 开发测试环境 模块 CPU 内存 磁盘 网络 实例数量 Frontend 8核+ 8GB+ SSD 或 SATA

Im ok的博客哦 5856

MATPOWER下载安装教程

将MATPOWER文件复制在C:\Program Files (x86)\MATLAB\R2016b\bin目录下。原来的窗口中多了很多文件路径,点击【保存】,再点击【关闭】选择所要添加的MATPOWER文件夹,点击【选择文件夹】二、将MATPOWER放在bin目录下。找到菜单栏的【设置路径】点击【添加并包含子文件】一、从官网下载后解压。

weixin_47365903的博客 2万+

Apache Doris 2.0.2 安装步骤 Centos8

Apache Doris 2.0.2安装步骤 Centos 8

Feike 2636

吉比特-笔试

1. 题一:打雷后下雨的概率是80%,而打闪电后下雨的概率是70%,那么即打雷又打闪电后下雨的概率是多少?   答:打雷后下雨和打闪电后下雨都是独立事件,P=1-又打雷又闪电但没下雨的概率= 1 - 0.2 *0.3 = 94%        题二:打雷后下雨的概率是80%,但是没打闪电后下雨的概率是20%,那么打雷了但没打闪电后下雨的概率是多少?答:P=0.8 *0.2 / ( 0.8 *0

naturism的专栏 2495

ipsec 加密流程(一):ipsec策略匹配

《openswan》专栏系列文章主要是记录openswan源码学习过程中的笔记。 Author: Toney Email: vip_13031075266@163.com Date: 2020.11.22 Copyright: 未经同意不得转载!!! Version:2.6.51.5 Reference:https://download.openswan.org/openswan/ 1. ipsec策略匹配流程(ipsec_tunnel_start_xmit) 注:open...

遇见你是我最美丽的意外 9121

全面进化!Apache Doris 1.2.0 Release 版本正式发布|版本通告

亲爱的社区小伙伴们,经历数月的等候,我们很高兴地宣布,Apache Doris 于 2022 年 12 月 7 日迎来了 1.2.0 Release 版本的正式发布!有近 118 位 Contributor 为 Apache Doris 提交了超 2400 项优化和修复,感谢每一位让 Apache Doris 更好的你!自从社区正式确立 LTS 版本管理机制后,在 1.1.x 系列版本中不再合入大的功能,仅提供问题修复和稳定性改进,力求满足更多社区用户在稳定性方面的高要求。而综合考虑版本迭代节奏和用户需求后

SelectDB 4412

YOLOv8改进,YOLOv8添加DCNv3可变性卷积,无需编译

DCNv3在DCNv2版本上进行了改进,上一期我们在YOLOv8中添加了DCNv2,这一期我们将添加DCNv3,DCNv3代码详解可以参考链接:代码详解——可变形卷积(DCNv3)

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 5020

Apache Doris 2.0.1 & 1.2.7 版本正式发布!

Apache Doris 2.0.1 & 1.2.7 版本正式发布,欢迎大家下载体验!

SelectDB 842

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Apache Doris 3.0.6 版本正式发布

亲爱的社区小伙伴们,该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

2501_92584341的博客 1459

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Apache Doris 3.0.4 版本正式发布

亲爱的社区小伙伴们,该版本持续在存算分离、湖仓一体、异步物化视图等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。

SelectDB 1887

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Apache Doris 3.0.3 版本正式发布

修复关闭 light_schema_change 时使用 VARIANT 类型 coredump 的问题。修复 meta-service 接收到 RPC 时不严格检查 instance_id 的问题。修复 hash join 时 array 类型的大小超过 4G 导致 BE Core 的问题。修复 varchar 和 char 类型在 runtime filter 运算时的问题。修复常量折叠 RCP 以及 FE 转发 SQL 可能不在预期的计算组执行的问题。

SelectDB 1849

Apache Doris 4.0.2 版本正式发布

亲爱的社区小伙伴们,**Apache Doris 4.0.2 版本已正式发布。**此版本新增了在 AI & Search、函数、物化视图、Lakehouse 等方面的功能,并同步进行了多项优化改进及问题修复,欢迎下载体验!

SelectDB 1161

Apache Doris 2.1.8 版本正式发布

亲爱的社区小伙伴们,该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。

SelectDB 1912

Apache Doris 2.0.0 版本正式发布:盲测性能 10 倍提升,更统一多样的极速分析体验

Apache Doris 2.0.0 版本正式发布:盲测性能 10 倍提升,为用户提供性能更佳、稳定性更高、易用性更好的数据分析体验

SelectDB 4236

Apache Doris 2.1.10 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.10 版本已正式发布。2.1.10 版本对湖仓一体、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。

SelectDB 1178

Apache Doris Flink Connector 24.0.0 版本正式发布

亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持,并支持通过高速读取 Doris 中数据。此外,整库同步所依赖的 FlinkCDC,也需升级至 3.1.x 版本,以便更好的应用。

SelectDB 1268

Apache Doris 4.0 版本正式发布:全面升级 AI 与搜索能力,强化离线计算

当前版本支持的语法功能:与括号分组多字段搜索:在一个search()中对多个字段做布尔组合后续版本会持续迭代以支持以下语法功能:短语前缀通配符正则范围列表管道化组合:通过 char filter、tokenizer 与多个 token filter 的链式配置,构建自定义文本处理流程。组件复用:常用的 tokenizer 和 filter 可在多个 analyzer 中共享,减少重复定义,降低维护成本。

SelectDB 1331

Apache Doris 2.1.4 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中,我们对数据湖分析场景进行了多项功能体验优化,重点修复了旧版本中异常内存占用的问题,同时提交了若干改进项以及问题修复,进一步提升了系统的性能、稳定性及易用性,欢迎大家下载使用。

SelectDB 1813

Apache Doris 2.1.1 版本正式发布!

亲爱的社区小伙伴们,Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化,提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

SelectDB 1722
上一篇: Apache Doris 在小鹅通的应用实践
下一篇: 驱动数字化转型,Doris Summit Asia 2023 智慧金融与政企论坛精彩预告!
SelectDB技术团队
博客等级 码龄4年 2119粉丝 483原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SelectDB技术团队

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值