【Apache Doris】周FAQ集锦:第 4 期

doris 错误代码表 | 错误码 | 错误信息 | | :----- | :----------------------------------------------------------- | | 1005 | 创建表格失败,在返回错误信息中给出具体原因 | | 1007 | 数据库已经存在,不能创建同名的数据库 | | 1008... 阅读详情

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
引用
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 查询报错:[HY000][1105] Can not connect to jdbc due to error: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago

💡A1 JDBC连接异常处理流程参考:

  1. jdbc的url中加autoReconnect=true参数,并且wait_timeout设置24小时后观察
  2. 如果是使用catalog时出现的,可以看看mysql信息是否填写错误或者mysql驱动版本的原因
  3. testOnBorrow打开,可查阅:https://github.com/alibaba/druid/issues/5262

❓Q2 查询报错:[E-230]missed_versions is empty

💡A2 如下:
解决方案:调大be.conf的tablet_rowset_stale_sweep_time_sec参数,并重启BE节点
参数说明:这个参数主要是加大了合并版本的清理时间,尽可能避免刚好查询时需要的版本被合并清理了(写入过于频繁场景容易出现),举个例子:有张表table_a里未合并清理的版本号是1-9,那么这个时候去执行 select * from table_a 它会去查询最新的version 9的数据,如果这段时间table_a同时有写入,版本变成了1-10并且触发compaction及满足tablet_rowset_stale_sweep_time_sec要去清理合并过的版本,变成了一个最新的查询版本1-10,那么这个时候version 9(1-9)就无法查询了,则会出现 select * from table_a 需要的version 9不存在miss从而报missed_versions is empty
BE参数说明可以查阅BE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config

数据操作问题

❓Q1 doris没有时间戳的数据类型,时区是和数据库服务器的时区吗?
💡A1 如下:

  1. 可以用bigint映射,或者使用datetime是否能满足需求
  2. 默认东八区,2.1开始支持时间戳类型
    Release 2.1,可以查阅:
    https://doris.apache.org/zh-CN/docs/dev/releasenotes/release-2.1.0

❓Q2 对已有数据的分区表调整分区分桶数,是否会对历史数据进行重新分桶分区?
💡A2 不会对历史数据进行重新分桶分区,只会影响新分区的分桶数。

❓Q3 分区分桶字段建表后还能变更?
💡A3 不能;和底层数据存储结构有关,当前改bucket只能重新建表导数。

❓Q4 stream load怎么查看对应的profile信息?
💡A4 1.2.7版本后在stream load中设置:-H “enable_profile: true”;当 enable_profile 为 true 时,stream load profile 将会被打印到 be.INFO 日志中。
具体可查阅:
https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/stream-load-manual

❓Q5 doris进行insert时结果数据和预期条数不匹配?
💡A5 如下:

  1. 源数据到目标端根据key去重了
  2. 没开严格模式,异常数据(schema不匹配等情况)被过滤了;可以SET enable_insert_strict = true; 后再跑试试看有没有errorURL
  3. create table 临时表 as select xxx,测下结果记录数是否正确

运维常见问题

❓Q1 be节点出现磁盘损坏了如何处理?

💡A1 如下:

1.>=2副本2be的集群:
   a. 下掉坏盘
   b. be配置中将坏盘的存储目录移除
   c. 重启对应be即可,数据多副本会自动修复
2.单副本集群:
   a. 下掉坏盘
   b. 排查异常表,重新建表刷数据

生成环境建议>=3副本3be,提高doris的可用性、容错性、负载均衡和并行处理能力,具体可查阅:
https://doris.apache.org/zh-CN/docs/admin-manual/maint-monitor/tablet-repair-and-balance

❓Q2 doris支持windows吗?

💡A2 暂无计划支持Windows系统,可以用虚拟机或者WLS2。

其它问题

❓Q 编译doris时报错:Failed to parse plugin descriptor for net.sourceforge.czt.dev:cup-maven-plugin:1.6-cdh

💡A net.sourceforge.czt.dev 相关 jar 包下载失败问题,可参考如下方案处理:
1.先更换 mirror 源 url 为如下路径,保存后继续编译,1.6-cdh 下载成功后可再恢复至原有 url 完成编译:

<mirror>
        <id>aliyunmaven</id>
        <mirrorOf>central</mirrorOf>
        <name>aliyun maven</name>
        <url>https://repository.cloudera.com/repository/libs-release-local/</url>
</mirror>

2.通过以下连接下载 pom 及 jar 包,放至 .m2/net/sourceforge/czt/dev 仓库目录下,完成编译
https://repository.cloudera.com/#browse/search=keyword%3Dnet.sourceforge.czt.dev

具体可以查阅Doris论坛帖子:
https://ask.selectdb.com/questions/D1Jc/yi-jie-jue-docker-bian-yi-shi-cpu-maven-plugin-bao-wen-ti

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。


一臻数据

Doris查询任务报错failed to initialize storage reader 报错 spark读取Doris表导入hive表 任务报错如下 Caused by: org.apache.doris.spark.exception.DorisInternalException: Doris server Doris BE{host='10.105.137.182', port=9060} internal failed, status code [INTERNAL_ERROR] error message is [failed to initialize storage reade 阅读详情

相关推荐

sentaurus学习笔记(HFET_pGate_GaN仿真)(五)

`(sdedr:define-constant-profile`和`(sdedr:define-constant-profile-region`命令用于定义并应用一个恒定的活性硼掺杂浓度剖面`"ndop_GaN_gate_const"`到氮化镓栅极层上,其值为`NpGaN_gate`。- `"Oxide"`指定了这一层的材料名称(在这里代表氧化层),而`"nucleation"`是这一层在仿真中的标识名称。- `"GaN"`指定了这一层的材料名称,而`"GaN_gate"`是这一层在仿真中的标识名称。

qq_52640792的博客 941

Doris insert into 插入语句执行成功,且select查询成功,返回结果不报错,但查不到该插入数据

原因:由于有其他 insert commit 事务待提交且该任务处于锁的状态,导致不断在回滚,进而造成其他的insert into 语句也执行成功,但是select不到写入的数据。一是集群性能太差的缘故,二是写入访问过多,导致查询tablet文件部分丢失,却回滚事务异常,Doris FE webui Log WARN日志打印初步判定是此原因,情况出现很少。问题:Doris insert into 正常执行成功,select 查询也执行成功,但查不到该写入数据。

SunTecTec 1661

在 Ubuntu 22.04 上配置 SonarQube 与 CI/CD 流水线实现自动化代码审查

本文详细介绍了在Ubuntu 22.04系统上配置SonarQube并与CI/CD流水线集成的完整流程,实现自动化代码审查。从环境准备、数据库配置到核心参数调优,再到与Jenkins和GitHub Actions的深度集成,提供了实战技巧和性能优化建议,帮助团队提升代码质量监控效率。

weixin_28829325的博客 261

【Apache Doris】数据副本问题排查指南

【Apache Doris】数据副本问题排查指南

ith321的博客 2473

【汽车故障诊断2】从标准到实战:解码DTC格式背后的诊断逻辑

本文深入解析汽车诊断故障码(DTC)的格式与逻辑,对比了OBD-II标准(如ISO 15031-6)的5字符格式与UDS协议(ISO 14229-1)下更丰富的3字节格式。文章从国际标准出发,结合实战案例,阐述了DTC如何作为汽车电子系统的“体检报告”,帮助工程师和维修技师精准定位故障,并详细解读了UDS 19服务如何读取和管理DTC状态。

berry的博客 713

双传声器法测量吸声材料的吸声系数(公式推导与解释)

在双传声器法中,通过测量两个位置的声压 p1和 p2​,可以分离出入射波和反射波的声压分量。双传声器法一般在阻抗管中进行,阻抗管的一端为平面波声源,另一端放置待测材料。两个传声器放置在靠近材料的阻抗管内,用于测量管道内的声压。双传声器法是一种常用于测量材料吸声系数的实验方法,通过在管道内使用两个传声器测量声波的入射和反射,来计算出材料的吸声系数。当测试样品较少时,测试时,需要交换两个传声器的位置,目的是为了相位校准。

m0_57407372的博客 1875

Doris数据库BE——rowset版本追踪

Doris构建一个版图来为维护上述版本的变更过程,实现过程:[0-0],[1-1],[2-2],[3-3],[4-4],[5-5],[6-6],[7-7],[8-8],[9-9],[10,10]。那么会生成10个rowset,rowset从1到10编号分别[0-0],[1-1],[2-2],[3-3],[4-4],[5-5],[6-6],[7-7],[8-8],[9-9],[10,10]。给定[0-10],从节点0开始,从下标最大的边开始,发现[0-10] 就是我们要找的最小的连续一致的rowset。

肥叔菌的博客 954

NVMe-MI 协议解析:带外管理框架与实现原理

本文深入解析了NVMe-MI协议,这是一种用于NVMe固态硬盘的标准化带外管理接口。文章详细阐述了其独立于操作系统的管理框架,通过MCTP协议栈实现,支持SMBus/I2C、PCIe VDM和I3C等物理层,从而在系统故障时仍能可靠地进行健康监控、固件升级等关键运维操作,是现代数据中心存储管理的核心基础设施。

lll78的博客 961

【Apache Doris】周FAQ集锦:第 9 期

【Apache Doris】周FAQ集锦:第 9 期

ith321的博客 2296

AI测试:手把手教你用AI生成测试用例并支持导出Excel「喂饭教程」

如果我告诉你,有一种方法,你只需要输入需求内容,AI就能自动帮你设计出结构清晰、覆盖全面的测试用例,并直接生成一份精美的Excel表格,你会不会心动?

blues_C的博客 3885

嵌入式工程师成长之路(1)——元件基础(完整版)

为什么你的电路总是“玄学”故障?答案藏在这些元件里! 0欧电阻竟能引发信号反射?5V转3.3V电平匹配失败导致MCU烧毁?电容降压设计让电源“滋滋”响?——这些坑,本文全填平! 优快云硬件领域头部博主十年踩坑经验汇总,覆盖电阻、电容、电感核心难点+高频实战问题,让你从“调试地狱”直通“一次成功”!

云轩阁 2万+

【Apache Doris】周FAQ集锦:第 7 期

【Apache Doris】周FAQ集锦:第 7 期

ith321的博客 1491

k230+CanMV+micropython环境下byte、int、hex、string之间的转换常用函数实测

【代码】k230+CanMV+micropython环境下byte、int、hex、string之间的转换常用函数实测。

weixin_47446386的博客 120

【Apache Doris】周FAQ集锦:第 29 期

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈,走对圈子跟对人,趣析数据、畅聊趋势,快进圈子! 1283

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

【Apache Doris】周FAQ集锦:第 18 期

【Apache Doris】周FAQ集锦:第 18 期

ith321的博客 1168

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【Apache Doris】周FAQ集锦:第 17 期

【Apache Doris】周FAQ集锦:第 17 期

ith321的博客 1255

【Apache Doris】周FAQ集锦:第 19 期

【Apache Doris】周FAQ集锦:第 19 期

ith321的博客 1597

【Apache Doris】周FAQ集锦:第 8 期

【Apache Doris】周FAQ集锦:第 8 期

ith321的博客 1392

【Apache Doris】周FAQ集锦:第 14 期

【Apache Doris】周FAQ集锦:第 14 期

ith321的博客 1424

【Apache Doris】周FAQ集锦:第 15 期

【Apache Doris】周FAQ集锦:第 15 期

ith321的博客 1225

【Apache Doris】周FAQ集锦:第 5 期

【Apache Doris】周FAQ集锦:第 5 期

ith321的博客 1648

【Apache Doris】周FAQ集锦:第 11 期

【Apache Doris】周FAQ集锦:第 11 期

ith321的博客 1581

【Apache Doris】周FAQ集锦:第 6 期

【Apache Doris】周FAQ集锦:第 6 期

ith321的博客 960

【Apache Doris】周FAQ集锦:第 3 期

【Apache Doris】周FAQ集锦:第 3 期

ith321的博客 2053

【Apache Doris】周FAQ集锦:第 2 期

【Apache Doris】周FAQ集锦:第 2 期

ith321的博客 2624

【Apache Doris】周FAQ集锦:第 1 期

【Apache Doris】周FAQ集锦:第 1 期

ith321的博客 1906
上一篇: 【Apache Doris】BE宕机问题排查指南
下一篇: 【Apache Doris】周FAQ集锦:第 5 期
OneMindAI
博客等级 码龄11年 1万+粉丝 370原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OneMindAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值