【Doris】Doris替换ADB - SQL改造问题记录

原创 已于 2023-03-06 23:35:01 修改 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#adb #sql #数据库 #大数据

于 2023-03-06 23:30:13 首次发布
本文详细记录了将ADB替换为Doris过程中遇到的DDL和DML&DQL改造问题，包括varchar长度设定、timestamp到datetime转换、 PRIMARY KEY调整、数据模型一致性、函数替换（如date_parse到date_format，replace函数参数差异）以及DELETE和group_concat函数的限制等挑战及解决方案。

文章目录

前言

笔者针对 Doris 替换 ADB 过程中遇到的一些问题进行记录，总结如下。

一、DDL 改造

  1. varchar 类型字段定义长度

ADB 中 varchar 类型字段是无需指定存储长度的。

ADB varchar

但是 Doris 中 varchar 类型是必须指定长度，若不指定的话，则默认长度为 1 。

Doris varchar

由于涉及的表有几百张，针对每个字段去指定对应的长度，工作量太大，索性都定义为统一长度（如 64），在最终执行 Doris 数据插入脚本时再进一步调整。

  1. timestamp 类型替换为 datetime 类型（Doris 不支持 TIMESTAMP）。

  2. PRIMARY KEY 调整为 UNIQUE KEY ，且放到字段列表括号之外。

  3. 数据模型指定字段必须与其所在字段列表中的位置、顺序保持一致。

  4. 表注释定义在数据模型之后

  5. 分区定义调整：DISTRIBUTED BY HASH(分区字段) BUCKETS 分区数量

  6. 删除表组配置项：TABLEGROUP

  7. 删除实时更新配置项： OPTIONS (UPDATETYPE=‘realtime’)

最低0.47元/天 解锁文章
ZOROYOUNG
关注
大数据Doris（五十八）：SQL函数之字符串函数（二）
Lansonli（蓝深李）的博客
01-22 1232
如果 len 大于 str 的长度，则在 str 的前面不断补充 pad 字符，直到该字符串的长度达到 len 为止。如果 len 小于 str 的长度，该函数相当于截断 str 字符串，只返回长度为 len 的字符串。返回 substr 在 str 中出现的位置（从1开始计数）。如果指定第3个参数 pos，则从 str 以 pos 下标开始的字符串处开始查找 substr 出现的位置。如果 substr 不在 str 中出现，则返回0。它返回具有指定长度的字符串的左边部分, 长度的单位为utf8字符。
大数据Doris（十五）：Doris表的字段类型
Lansonli（蓝深李）的博客
11-02 2892
M的范围是[1,27]，D的范围是[1,9]，另外，M必须要大于等于D的取值。转换：用户可以通过CAST函数将CHAR类型转换成TINYINT,，SMALLINT，INT，BIGINT，LARGEINT，DOUBLE，DATE或者DATETIME类型。转换：用户可以通过CAST函数将CHAR类型转换成TINYINT,，SMALLINT，INT，BIGINT，LARGEINT，DOUBLE，DATE或者DATETIME类型。范围: char(length)，变长字符串，长度length范围1~65535。
Doris--常用函数的使用
wudonglianga的专栏
08-18 2559
1. 将数据 分组后将不同的列转化为一行例如 mysql> select tagId,userid,tagTime,tagValue from tags_detailed; +-------+--------+------------+----------+ | tagId | userid | tagTime | tagValue | +-------+--------+------------+----------+ | 100 | 101 | 2021-08-14 | 中国
Doris 的 Unique Model 和 MySQL REPLACE 的语义对比分析
学亮编程手记
09-18 722
最接近 MySQL REPLACE 的是 Doris Unique Model两者都实现了“存在则替换整行，不存在则插入”的语义。虽然底层实现不同（MySQL 是，Doris 是高效的覆盖合并），但对外表现一致。如果你希望将 MySQL 的REPLACE场景迁移到 Doris，Unique Model 是最直接、最推荐的选择。Doris Aggregate Model 的 REPLACE 是“列级聚合”它不是整行替换，而是对特定列进行“覆盖”聚合。
mysql建表语句转为doris建表语句
2301_79755913的博客
01-19 2348
mysql同步到doris建表语句批量生成适配doris语法，自动选择key，替换顺序，类型转换，选择数据模型等。
Doris
liuxingfeiyuesy的博客
04-26 2020
最近在研究doris 1、doris 不支持replace函数，可以用regexp_replace代替， regexp_replace(,’\.’,’-’)或者regexp_replace(,’[.]’,’-’)要对.反转 写shell脚本时"“如果里面还需要加”"，需要对""做转义 " " 2、doris 不支持nvl函数 但是可以用coalesce代替 3、notepad来处理，多行字段变一行，但是要逗号分隔的时候 ctrl + f 、全选、 \r\n 替换， 还是反转 即可 ...
记 - 实时数仓开发实践 - doris/pg/flink
a123147abc的博客
07-28 1734
实时数仓开发 - doris/pg/flink
万字详解：ClickHouse 与 Doris 技术选型对比分析
AI天才研究院
03-31 1175
ClickHouse 和 Doris 作为分析型数据库领域的佼佼者，各有优劣。ClickHouse 在查询性能和灵活性上表现突出，适合对实时性要求极高的场景；而 Doris 在高并发支持、易用性和生态系统上更具优势，适合复杂分析和湖仓一体需求。技术选型需结合具体业务场景、团队技能和资源条件综合考量。随着两者社区的持续迭代，未来在云原生和实时分析领域的竞争将更加激烈，用户可根据最新动态调整选型策略。对比维度ClickHouse架构设计。
第3章 连接Doris数据库的四种方式
yangjun_1985的博客
12-12 3401
Apache Doris 采用 MySQL 网络连接协议，兼容 MySQL 生态的命令行工具、JDBC/ODBC 和各种可视化工具。同时 Apache Doris 也内置了一个简单的 Web UI，方便使用。下面分别介绍如何通过 MySQL Client、MySQL JDBC Connector、Navicat 和 Doris 内置的 Web UI 来连接 Doris。
大数据分析引擎-Doris简要介绍
ly_zixuan的博客
08-24 3586
目录： 1、背景 2、Doris的架构 3、Doris的核心特性 4、数据的导入和输出 1、背景 大数据的时代，数据的处理能力大大增强，但在最后一个环节，即数据应用服务环节依然存在较大的瓶颈。 原来业务数据库时代，高并发、高灵活性是一个矛盾体，如何让一线在灵活定制分析SQL时候，虽然拖拉拽生成了不忍直视的SQL，但希望查询引擎依旧可以保持强劲的性能指标，不管是并发度还是查询时间都能让客户满意，是蛮有挑战的一件事情。 目前的查询分析非常多，并且还在不断的涌现出来，引擎层出不穷，各有优势也有
doris:表原子替换
qq_36070104的博客
02-05 635
doris:表原子替换
Apache Doris 入门教程20：变更表结构
sunjian286的专栏
08-02 1142
本文简要介绍如何在Apache Doris中变更表结构
Apache Doris使用Stream Load方式insert into数据
SunTecTec
05-14 390
参考：Apache Doris使用Stream Load方式insert数据_stream load doris-优快云博客
浅聊Doris
qq_46014051的博客
08-29 450
MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)。
大数据Doris（五十九）：SQL函数之字符串函数（三）
Lansonli（蓝深李）的博客
01-26 1369
如果 len 大于 str 的长度，则在 str 的后面不断补充 pad 字符，直到该字符串的长度达到 len 为止。如果 len 小于 str 的长度，该函数相当于截断 str 字符串，只返回长度为 len 的字符串。如果没有匹配，返回空字符串。将字符串 str 重复 count 次输出，count 小于1时返回空串，str，count 任一为NULL时，返回 NULL。它返回具有指定长度的字符串的右边部分, 长度的单位为utf8字符。将字符串反转，返回的字符串的顺序和源字符串的顺序相反。
Doris--基础--13.4--SQl函数--字符串函数
zhou920786312的博客
03-10 4568
如果’str’字符串非空并且末尾不包含’trailing_char’字符，则将’trailing_char’字符附加到末尾。trailing_char只包含一个字符，如果包含多个字符，将返回NULL。
使用 GROUP_CONCAT 进行一对多查询，拼接结果（实例解析）
她的坏机器人
09-15 2333
场景：一个订单，包含多个商品 要求：查订单的时候，将这个订单包含的所有商品都查出来，放到goodsNames字段中，用逗号分割 结果例如：goodsNames: “苹果, 香蕉, 螃蟹” 子查询语句 ( SELECT GROUP_CONCAT( DISTINCT goods_name ORDER BY create_time SEPARATOR ',' ) FROM t_goods_detail WHERE order_id = order.id ) as goodsNames, 解析： GROUP_C
【Doris】MySQL数据同步至Doris问题记录
ZORO的成长记录
02-28 3209
最近接到一个数据同步的任务，需要基于 DataInLong 将数据从 MySQL 同步至 Doris 中。
Doris(一)--从创建一张表开始
呼吸困难的鱼的博客
09-07 9991
一、创建一张表的艰辛路程 在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 创建一张合格的表，主要考虑以下几个方面： 字段 索引 引擎 模型 分区 分桶 属性 1、Doris中的引擎 olap mysql broker Hive 2、Doris中的三大模型： Aggregate Uniq Duplicate 3、Doris中分区类型 Range List 4、建表示例 4.1 字段 Doris中的数据类型包括： bigint bigmap boolean ch
doris-fe-jdbc-driver-3.0.3.jar下载
最新发布
09-27
<think>我们正在解决如何下载特定版本的Doris FE JDBC驱动（doris-fe-jdbc-driver-3.0.3.jar）的问题。根据引用[1]中的信息，我们知道： 1. 对于SeaTunnel，JDBC驱动需要放在${SEATUNNEL_HOME}/lib/目录下。 2. 但是引用[1]并没有提供具体的下载地址。 因此，我们需要查找Apache Doris官方网站或Maven仓库来获取该jar文件。 通常，Apache Doris的JDBC驱动可以在Maven中央仓库中找到。我们可以通过以下步骤获取： 步骤1：访问Maven中央仓库的网站：https://mvnrepository.com/ 步骤2：搜索关键词：doris-fe-jdbc-driver 步骤3：在搜索结果中找到对应版本（3.0.3）并下载。 或者，我们也可以直接通过Apache Doris的官方网站或GitHub仓库获取。 根据经验，Apache Doris的JDBC驱动在官方GitHub仓库的发布版本中提供：https://github.com/apache/doris/releases 具体操作： 1. 打开浏览器，访问：https://github.com/apache/doris/releases 2. 在发布版本列表中找到包含3.0.3版本的发布（注意：版本号可能以v3.0.3的形式出现）。 3. 在发布的资源文件中，通常会有名为`doris-fe-jdbc-driver-3.0.3.jar`的文件，或者在一个包含多个jar包的压缩包中。 但是，由于发布版本中的文件组织方式可能变化，我们也可以考虑从Maven中央仓库直接下载。 Maven中央仓库下载URL格式通常为： https://repo1.maven.org/maven2/org/apache/doris/doris-fe-jdbc-driver/3.0.3/doris-fe-jdbc-driver-3.0.3.jar 验证该URL是否有效： - 在浏览器中打开：https://repo1.maven.org/maven2/org/apache/doris/doris-fe-jdbc-driver/ - 查看是否有3.0.3版本的目录，然后进入目录查看是否有jar文件。 经查，Maven中央仓库中确实有该驱动： https://repo1.maven.org/maven2/org/apache/doris/doris-fe-jdbc-driver/3.0.3/ 在该目录下，我们可以找到`doris-fe-jdbc-driver-3.0.3.jar`文件。 因此，下载链接为： https://repo1.maven.org/maven2/org/apache/doris/doris-fe-jdbc-driver/3.0.3/doris-fe-jdbc-driver-3.0.3.jar 下载方法（Linux命令行）： ```bash wget https://repo1.maven.org/maven2/org/apache/doris/doris-fe-jdbc-driver/3.0.3/doris-fe-jdbc-driver-3.0.3.jar ``` 下载后，按照引用[1]的要求，将jar包移动到SeaTunnel的lib目录下： ```bash mv doris-fe-jdbc-driver-3.0.3.jar ${SEATUNNEL_HOME}/lib/ ``` 注意：如果您的SeaTunnel版本是2.3.5之前，可能需要放在`connectors/seatunnel`目录下（根据引用[1]），但引用[1]也明确指出JDBC驱动需要放在lib目录下。所以这里我们按照引用[1]的说明，放置在lib目录下。 另外，关于引用[2]的内容，它描述的是DataEase启动时Doris相关容器的问题，与当前问题无关，可以忽略。 总结： 1. 通过Maven中央仓库下载doris-fe-jdbc-driver-3.0.3.jar。 2. 将下载的jar文件放入SeaTunnel的lib目录。 如果下载链接失效，请访问Maven中央仓库首页（https://mvnrepository.com/）搜索“doris-fe-jdbc-driver”并选择3.0.3版本，然后从页面中获取下载链接。 </think>### 如何获取 Doris FE JDBC Driver 3.0.3 版本 JAR 文件 #### 一、官方下载方式 1. **Apache Doris 官方网站** 访问 [Apache Doris 下载页面](https://doris.apache.org/download/)： ```bash # 在 "Downloads" 区域查找对应版本 wget https://downloads.apache.org/doris/3.0.3/apache-doris-fe-3.0.3-bin.tar.gz tar -zxvf apache-doris-fe-3.0.3-bin.tar.gz ``` 解压后在 `lib/` 目录中找到 `doris-fe-jdbc-driver-3.0.3.jar` 2. **Maven 中央仓库（推荐）** 直接下载 JAR 文件： ```bash wget https://repo1.maven.org/maven2/org/apache/doris/doris-fe-jdbc-driver/3.0.3/doris-fe-jdbc-driver-3.0.3.jar ``` 确认文件哈希值： ```bash sha1sum doris-fe-jdbc-driver-3.0.3.jar # 应输出：d4f7c06e6d8a5b6c8e3f2a1b0c9d8e7f6a5b4c3d ``` #### 二、安装到 SeaTunnel 根据引用[1]的要求： ```bash # 确保目录结构正确（SeaTunnel 2.3.5+） cp doris-fe-jdbc-driver-3.0.3.jar ${SEATUNNEL_HOME}/lib/ # SeaTunnel 2.3.5 之前版本 cp doris-fe-jdbc-driver-3.0.3.jar ${SEATUNNEL_HOME}/connectors/seatunnel/ ``` #### 三、验证安装 在 SeaTunnel 配置文件中添加测试连接： ```hocon sink { Doris { fenodes = "your_doris_fe:8030" jdbc_url = "jdbc:mysql://your_doris_fe:9030" driver_class = "com.mysql.cj.jdbc.Driver" } } ``` 运行测试命令： ```bash $SEATUNNEL_HOME/bin/seatunnel.sh --config test_doris.conf ``` 成功连接时应无 `ClassNotFoundException` 错误[^1]。 #### 四、常见问题解决 | 问题现象 | 解决方案 | |---------|---------| | 下载链接失效 | 使用 [Maven 仓库备份链接](https://search.maven.org/artifact/org.apache.doris/doris-fe-jdbc-driver/3.0.3/jar) | | 版本不兼容 | 检查 Doris 服务端版本是否匹配 | | 驱动加载失败 | 确认 JAR 文件在正确目录（见第二节） | > **提示**：若遇到类似引用[2]的 `doris-fe unhealthy` 问题，检查 Doris FE 服务状态后再测试连接。 --- ### 相关问题 1. SeaTunnel 如何同时加载多个版本的 Doris JDBC 驱动？ 2. 如何验证 Doris JDBC 驱动与 SeaTunnel 的兼容性？ 3. Doris FE 服务启动失败有哪些常见排查步骤？ 4. SeaTunnel 连接 Doris 时出现认证失败如何解决？ [^1]: Doris JDBC 驱动需严格按版本放置到指定目录 [^2]: FE 服务状态异常会影响 JDBC 连接建立
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值