Doris2.0.1load方式导入数据踩坑

最新推荐文章于 2025-01-30 20:33:53 发布

Asonti

最新推荐文章于 2025-01-30 20:33:53 发布

阅读量1.3k

点赞数

文章标签：大数据数据仓库

本文链接：https://blog.youkuaiyun.com/Asonti/article/details/134382844

版权

用load方式导入数据，Doris的建表语句里用decimal方式存储源表的double类型数据

执行导入就会导致集群崩溃，然后报错There is no scanNode Backend available
解决方式就是，不用decimal方式存储，可以用varchar

执行成功！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Asonti

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Doris（5）：数据导入（Load）之Broker load

u013938578的博客

04-14

1191

为适配不同的数据导入需求，Doris系统提供了五种不同的数据导入方式，每种数据导入方式支持不同的数据源，存在不同的方式（异步，同步）通过Broker进程访问并读取外部数据源（HDFS）导入Doris，用户通过Mysql提交导入作业，异步执行，通过show load命令查看导入结果用户通过HTTP协议提交请求并携带原始数据创建导入，主要用于快速将本地文件或者数据流中的数据导入到Doris，导入命令同步返回结果。

Doris Load方式

JustinMars的博客

10-21

976

导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过 Mysql 客户端查询数据。 Doris 支持多种导入方式。建议先完整阅读本文档，再根据所选择的导入方式，查看各自导入方式的详细文档。基本概念 Frontend（FE）：Doris 系统的元数据和调度节点。在导入流程中主要负责导入规划生成和导入任务的调度工作。 Backend（BE）：Doris 系统的计算和存储节点。在导入流程中主要负责数据的 ETL 和存储。 Broker：Broker 为一个独立的无状态进程。封

参与评论您还未登录，请先登录后发表或查看评论

Doris报错there is no scanNode Backend

gaofeng的博客

03-29

1万+

背景业务开发侧3.8号反应SparkStreaming流失扫Doris表（查询sql）报错 Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 7 in stage 0.0 failed 4 times, most recent failure: Lost task 7.3 in stage 0.0 (TID 20, hd012.corp.yodao.com, executor 7): com

【Doris】Doris通过streamLoad导入数据报错

azx321的专栏

04-02

967

可以在客户端执行：show backends 命令查看BE信息，获取ip。导入命令中，host需要填写BE的ip地址，端口默认8040。

Doris数据表

weixin_67024075的博客

05-26

1600

仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。注意到 p201702 和 p201705 的分区范围并没有发生变化，而这两个分区之间，出现了一个空洞：[2017-03-01, 2017-04-01)。注意，最后一个分区用户缺失，只指定了 date 列的分区值，所以 id 列的分区值会默认填充 MIN_VALUE。当用户插入数据时，分区列值会按照顺序依次比较，最终得到对应的分区。通过 VALUES LESS THAN 语句增加分区时，分区的下界紧接上一个分区的上界。

抖之恒科技大数据Doris如何导入

hzy12333的博客

06-19

353

Doris还提供了易于使用的数据导入工具，使得用户可以轻松地将数据从各种来源导入到Doris中进行处理和分析。在执行LOAD语句之前，您还可以使用Doris的数据预处理工具对数据进行清洗、转换和过滤等操作。例如，您可以使用Doris的ETL工具将多个数据文件合并为一个文件，或者将数据中的特定列进行加密或解密。总之，使用Doris进行数据导入非常简单，只需要准备好数据文件并使用Doris的DDL和LOAD语句即可。Doris还提供了强大的数据预处理工具和高效的并发导入功能，使得数据导入变得更加方便和高效。

使用navicat连接远程数据库报错

hanjingjun123的博客

03-22

949

1.总是返回本地的ip，报错首先检查连接数据库的密码，是否正确；切记切记；

apache doris数据库搭建（一）

hello.reader

06-26

1万+

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

doris:Kafka 导入数据

qq_36070104的博客

01-17

1332

doris:Kafka 导入数据

doris：JSON导入数据

qq_36070104的博客

01-25

1120

doris：JSON导入数据

doris：导入时实现数据转换

热门推荐

qq_31866793的博客

10-28

3万+

1，执行创建语句过程中出现： [Err] 1064 - errCode = 2, detailMessage = Failed to find enough host in all backends. need: 3 原因：语句中指定了PROPERTIES("replication_num" = "3"); 结果BE只有2个：查看对应节点的日志：. ==> ./be.WARNING.log.20200921-141304 <== W1026 18:13:39.1399..

BE节点经常挂掉：[IO_ERROR]failed to list /proc/27349/fd/: No such file or directory

程裕强的专栏

11-21

1202

be.out也看不出什么有用日志，查看be.WARNING，发现了如下错误，但还不知道如何解决，先记录一下问题。最近BE节点经常挂掉。

Doris 之Frontend（FE）和Backend（BE）配置

qq_43688472的博客

01-19

4940

Doris 之Frontend（FE）和Backend（BE）配置

【Apache Doris】周FAQ集锦：第 11 期

ith321的博客

07-13

1184

【Apache Doris】周FAQ集锦：第 11 期

Doris 启动失败问题解决

u011250186的博客

02-22

1807

Doris 启动失败问题解决

Doris常见问题

2201_75550155的博客

02-15

3753

3、executing msg:>, backend 172.24.47.117 process memory used 2.68 GB, limit 2.47 GB：本次内存申请的位置是ExecNode:VAGGREGATION_NODE (id=7)>，当前BE节点的IP是 172.1.1.1，以及再次打印BE节点的内存统计。1、Memory limit exceeded:：当前正在执行query 3c88608cf35c461d-95fe88969aa6fc30的内存申请过程中发现内存超限。

【Doris】通过Stream Load解决Doris同步产生err=-235 or -215 or -238问题

yuanling_123的博客

04-12

3153

Stream Load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream Load 主要适用于导入本地文件，或通过程序导入数据流中的数据。Stream load 中，Doris 会选定一个节点作为 Coordinator 节点。该节点负责接数据并分发数据到其他数据节点。用户通过 HTTP 协议提交导入命令。

Doris安装与简单使用

asdasdsaff的博客

10-12

1277

Doris是一款基于大规模并行处理(MPP-based)的实时数据仓库，采用MySQL协议，支持标准SQL并且高度兼容MySQL语法。其架构简洁，仅包括Frontend (FE)与Backend (BE)两个部分，FE负责请求处理、查询解析与计划、元数据和节点管理。BE负责数据存储和执行查询。

doris如何做数据导入

06-03

DorisDB提供了多种数据导入方式，包括： 1. 使用DorisDB自带的数据导入工具：DorisDB提供了命令行工具doris-loader，可以将文本文件、CSV文件、JSON文件等格式的数据导入到DorisDB中。 2. 使用DorisDB的RESTful API接口：DorisDB提供了RESTful API接口，可以通过编写脚本或调用API来进行数据的导入。 3. 使用第三方ETL工具：DorisDB支持和第三方ETL工具（如Kettle、DataX等）进行集成，可以通过这些工具将数据导入到DorisDB中。无论采用哪种方式，数据导入前需要先创建好数据表，并根据实际情况设置好数据表的字段类型、分区方式等参数，以确保数据导入的正确性和高效性。