Apache Doris 2.1.7 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。

行为变更

  • 以下全局变量会被强制设置到下列默认值
    • enable_nereids_dml: true
    • enable_nereids_dml_with_pipeline: true
    • enable_nereids_planner: true
    • enable_fallback_to_original_planner: true
    • enable_pipeline_x_engine: true
  • 审计日志增加了新的列 #42262

新功能

异步物化视图

  • 异步物化视图增加了一个属性 use_for_rewrite 用于控制是否参与透明改写 #40332

查询执行引擎

  • 在 Profile 中输出变更的session variable 列表。#41016
  • 增加了trim_inltrim_inrtrim_in 函数的支持。#42641
  • 增加了一些 URL 函数,包括对 to``p_level_domainfirst_significant_subdomaincut_to_first_significant_subdomain 支持。#42916
  • 增加了 bit_set 函数。#42099
  • 增加了count_substrings 函数。#42055
  • 增加 translateurl_encode 函数。#41051
  • 增加 normal_cdf, to_iso8601, from_iso8601_date 函数。 #40695
  • 增加 trim_inltrim_inrtrim_in 函数。#42641

存储管理

  • 增加了 information_schema.table_optionsinformation_schema.``table_properties 系统表,支持查询建表时设置的一些属性。#34384
  • 支持 bitmap_empty 作为默认值。#40364
  • 增加了一个新的 Session 变量require_sequence_in_insert 来控制向 Unique Key 表进行insert into select 写入时,是否必须提供 Sequence 列。#41655

其他

允许在 BE WebUI 页面生成火焰图。#41044

改进提升

湖仓一体

  • 支持写入数据到 Hive Text 格式表。#40537
  • 使用 MaxCompute Open Storage API 访问 MaxCompute 数据。#41610
  • 支持 Paimon DLF Catalog。#41694
  • 新增语法 table$partitions 语法支持直接查询 Hive 分区信息 #41230
  • 支持 brotli 压缩格式的 Parquet 文件读取。#42162
  • 支持读取 Parquet 文件中的 DECIMAL 256 类型。#42241
  • 支持读取 OpenCsvSerde 格式的 Hive 表。#42939https://github.com/apache/doris/pull/42939

异步物化视图

  • 细化了异步物化视图中构建时锁持有的粒度。#40402 #41010

查询优化器

  • 优化了极端情况下统计信息收集和使用的准确性,以提升规划稳定性。#40457
  • 现在可以在更多情况下生成 Runtime Filter,以提升查询性能。 #40815
  • 提升数值,日期和字符串函数的常量折叠能力,以提升查询性能。#40820
  • 优化了列裁剪的算法,以提升查询性能。#41548

查询执行引擎

  • 支持并行的 Prepare 降低短查询的耗时。#40270
  • 修正了 Profile 中一些 Counter的名字,保持跟审计日志一致。#41993
  • 增加了新的 Local Shuffle 规则,使得部分查询更快。#40637

存储管理

  • Show Partitions 命令支持显示 Commit Version。 #28274
  • 建表时检查不合理的 Partition EXPR。#40158
  • 优化 Routine Load EOF 时的调度逻辑。#40509
  • Routine Load感知 Schema 变化。#40508
  • 优化 Routine Load Task 超时逻辑。#41135

其他

  • 支持通过 BE 配置关闭 BRPC 的内置服务端口。#41047
  • 修复审计日志缺失字段以及重复记录的问题。#41047

Bug 修复

湖仓一体

  • 修复了 INSERT OVERWRITE 的行为跟 Hive 不一致的问题。#39840
  • 清理临时创建的文件夹,解决 HDFS 上空文件夹太多的问题。#40424
  • 修复某些情况下,使用 JDBC Catalog 导致 FE 内存泄露的问题。#40923
  • 修复某些情况下,使用 JDBC Catalog 导致 BE 内存泄露的问题。#41266
  • 修复某些情况下,读取 Snappy 压缩格式错误的问题。#40862
  • 修复某些情况下,FE 端 FileSystem 可能泄露的问题。#41108
  • 修复某些情况下,通过 EXPLAIN VERBOSE 查看外表执行计划可能导致空指针的问题。#41231
  • 修复无法读取 Paimon parquet 格式表的问题。#41487
  • 修复 JDBC Oracle Catalog 兼容性改动引入的性能问题。#41407
  • 禁止下推隐式转换后的谓词条件已解决 JDBC Catalog 某些情况下查询结果不正确的问题。#42242
  • 修复 External Catalog 中表名大小写访问异常的一些问题。#42261

异步物化视图

  • 修复用户指定的 Start Time 不生效的问题。#39573
  • 修复嵌套物化视图不刷新的问题。#40433
  • 修复删除重建基表后,物化视图可能不刷新的问题。#41762
  • 修复分区补偿改写可能导致结果错误的问题。#40803
  • sql_select_limit 设置时,改写结果可能错误的问题。#40106

半结构化管理

  • 修复了索引文件句柄泄露的问题。#41915
  • 修复了特殊情况下倒排索引 count() 不准确的问题。#41127
  • 修复了未开启 Light Schema Change 时 Variant 异常的问题。#40908
  • 修复了 Variant 返回数组时内存泄漏的问题。#41339

查询优化器

  • 修正了外表查询时,可能存在过滤条件 nullable 计算错误,导致执行异常的问题。#41014
  • 修复范围比较表达式优化可能发生错误的问题。#41356

查询执行引擎

  • match_regexp 函数不能正确处理空字符串的问题。#39503
  • 解决在高并发场景下,Scanner 线程池卡死的问题。#40495
  • 修复了 data_floor 函数结果错误的问题。#41948
  • 修复了部分场景下,Cancel 消息不正确的问题。#41798
  • 修复 Arrow Flight 打印太多的 Warn 日志的问题。#41770
  • 解决部分场景下 Runtime Filter 发送失败的问题。#41698
  • 修复了一些系统表查询的时候不能正常结束或者卡住的问题。#41592
  • 修复了窗口函数结果不正确的问题。#40761
  • 修复 ENCRYPT 和 DECRYPT 函数导致 BE Core 的问题。#40726
  • 修复 CONV 函数结果错误的问题。#40530

存储管理

  • Memtable 前移在多副本情况下,有机器宕机时导入失败的问题。#38003
  • 导入过程中,Memtable 在 Flush 阶段时,统计的内存不准确。#39536
  • 修复 Memtable前移多副本容错的问题。#40477
  • 修复 Memtable前移 bvar 统计不准的问题。#40985
  • 修复 s3 Load 进度汇报不准的问题。#40987

权限管理

  • 修复了SHOW COLUMNS, SHOW SYNC, SHOW DATA FROM DB.TABLE 相关的权限问题。 #39726

Others

  • 修复 2.0 版本的审计日志插件在 2.1 版本无法使用的问题#41400
03-12
<think>好的,我现在需要处理用户关于Apache Doris的查询。首先,用户提供了两个引用链接,我需要仔细查看这些资料,确保回答准确。用户希望了解Apache Doris数据库介绍和使用场景,所以得从这两个方面入手。 先看引用[1],里面提到Apache Doris的前身是百度Doris团队开发的,后来部分成员离职创业,基于之前的版本做了DorisDB,也就是StarRocks的前身。这可能涉及Doris的起源和发展历程,需要在介绍部分提到。同时,引用中还提到了Doris的使用场景,比如实时数据分析、多维度查询等,这些是用户关心的重点,需要详细说明。 引用[2]是关于单机部署流程的,里面提到了下载二进制安装包、传输到Linux系统,以及具体的wget命令。这部分内容可能需要放在使用部分,比如部署步骤,但用户的问题主要是介绍和使用场景,所以可能需要简要提及部署方法,或者作为使用的一部分。 接下来,我需要组织回答结构。根据用户的要求,回答需要结构清晰,分点说明。先介绍Apache Doris的基本情况,包括定义、特点和适用场景。然后说明其使用场景,具体举几个例子,比如实时数据分析、日志分析、数据仓库等,每个场景可以简要说明Doris的优势所在。最后,可能需要提到如何部署或使用,但根据用户的问题,可能不需要太详细的步骤,而是概括性的描述,比如支持标准SQL、高并发查询等。 需要注意的是,用户要求使用中文回答,并且行内数学公式用$...$,独立公式用$$...$$。不过当前问题涉及数据库技术,可能数学公式较少,但如果有性能指标或算法,可能需要用LaTeX表达。例如,如果提到查询延迟在毫秒级,可以写成$<100ms$。不过目前资料中没有涉及太多数学内容,可能需要根据情况处理。 另外,用户要求生成相关问题,需要根据回答内容提出几个相关问题,比如技术架构、性能优化、应用案例等。需要确保问题与Doris相关,并且能够引导用户进一步探索。 检查是否有遗漏的信息。引用[1]中提到Doris适用于实时分析、多维度查询和高并发场景,这些都需要在回答中体现。引用[2]中的部署步骤可能作为使用部分的一个小点,但用户可能更关注应用场景而非具体安装步骤,所以可能简要提及部署简便即可。 最后,确保回答符合格式要求,没有使用markdown,分点清晰,正确引用来源。引用标识要放在相关句子的末尾,例如在介绍使用场景时引用[^1],在部署方法时引用[^2]。 总结回答结构: 1. Apache Doris简介:定义、起源、特点。 2. 核心特点:列式存储、MPP架构、易用性、高性能。 3. 使用场景:实时分析、日志分析、数据仓库、即席查询。 4. 使用方式:部署、数据导入、查询。 5. 相关问题。 现在需要将这些内容用中文流畅表达,并自然插入引用标识。确保技术术语准确,比如MPP架构、OLAP等。同时,避免使用复杂术语时适当解释,比如说明列式存储的优势,提高查询效率。</think>### Apache Doris 数据库介绍 Apache Doris 是一款高性能、实时的分析型数据库,适用于在线分析处理(OLAP)场景。其前身是百度 Doris 团队开发的分布式数据库系统,后成为 Apache 顶级项目。Doris 采用**列式存储**和**MPP(大规模并行处理)架构**,支持高并发查询、实时数据更新和多维分析,具备低延迟(毫秒级响应)和高吞吐量的特点[^1]。 #### 核心特点 1. **列式存储与压缩**:数据按列存储,减少 I/O 开销,并通过压缩算法降低存储成本。 2. **分布式 MPP 架构**:支持水平扩展,节点间并行计算,适用于 PB 级数据分析。 3. **易用性**:兼容 MySQL 协议,支持标准 SQL,提供与 BI 工具无缝集成。 4. **实时性**:支持数据实时写入与查询,适用于流批一体场景。 ### 使用场景 1. **实时数据分析** - 例如:电商实时订单分析、广告点击率统计,支持在数据写入后 $<1s$ 内查询[^1]。 2. **日志分析** - 快速分析海量日志数据,如用户行为日志、系统监控日志。 3. **数据仓库加速** - 作为查询加速层,提升传统数据仓库(如 Hive)的响应速度。 4. **即席查询(Ad-hoc)** - 支持复杂多维度查询,满足业务灵活分析需求。 ### 如何使用 1. **部署** - 通过二进制安装包快速部署单机或集群环境,支持 Linux 系统(参考命令): ```bash wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.1.7-bin-x64.tar.gz ``` [^2] 2. **数据导入** - 支持 Kafka、MySQL、HDFS 等多种数据源,通过 Broker Load 或 Stream Load 实现实时/批量导入。 3. **查询** - 使用标准 SQL 或 BI 工具(如 Tableau)直接连接 Doris 进行数据分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SelectDB技术团队

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值