数据传输 | DTLE Release Notes 详细解读 2.19.05.0

初试DTLE-单向-聚合-分散复制 环境准备 主机名 IP地址 部署服务 study01 10.186.65.68 DTLE、MySQL study02 10.186.65.71 DTLE、MySQL study03 10.186.65.72 DTLE、MySQL Ps:如果不适用容器进行部署,首先安装三台或以上MySQL实例,并开启binlog以及GTID DTLE概述 dtle (Data-Transformation-le) 是上海爱可⽣信息技术股份有限公司 开发并开源的 CDC ⼯具. 其功能特点是: 阅读详情

2.19.05.0 版本 DTLE Release Notes

 

以下对 DTLE 2.19.05.0 版本的 Release Notes  进行详细解读。

文章主要分为三部分内容:

一、DTLE 项目介绍

二、功能优化

三、Bug修复

 

一、DTLE 项目介绍

DTLE (Data-Transformation-le) 是企业级开源分布式传输组件。具备 MySQL 全量增量复制迁移、双向复制、数据库汇聚、库表转换、数据订阅等功能。具备多场景多网络适配、云间迁移利器、跨数据中心数据库同步等特长。

DTLE 官方项目:

https://github.com/actiontech/dtle

如对源码有兴趣或者需要定制的功能的可以通过源码编译。

安装DTLE 官方文档:

https://actiontech.github.io/dtle-docs-cn

可以详细了解 DTLE 的背景和应用场景,本文未涉及到的细节都可在官方文获得。

DTLE 下载地址:

https://github.com/actiontech/dtle/releases

 

二、功能优化

  • improve: job API can give the reason after the job dead.

当调用 DTLE API 的工作死掉后,新增提示功能。

 

三、Bug修复

Bug-fixes:

  • Table name case problem #441-1

解决表命名时自动转换为小写后报错的问题

  • use mapping job.json failed when test increment , the job is 'complete' #447

解决在 mapping 自增测试时 job 会报 'complete' 的问题

  • DTLE:after job create ,insert data to null schema in Src, the dtle 'panic' #450

解决在源库插入空数据时会报 'painc' 的问题

  • Mapping:After change name ,delete src table ,the Dest table can not be deleted high #453

解决 mapping 在修改表名后,删除源库表后目标库表不同步删除的问题

  • docker run failed to start #454

解决 docker 启动失败的问题

  • kafka: unknown table structure #459

解决 kafka 在传输未知表结构报错的问题

DTLE 2.19.05.0 版本是一个优化版本,集中解决了一批 Bug 并做了小幅度使用效果的优化。

查看完整的 DTLE Release Notes

dtle:MySQL的分布式数据传输服务 dtle(Data-Transformation-le) 什么是干粉 dtle是MySQL数据传输/复制工具。 压缩碎片可以压缩传输中的数据,从而节省了成本。 双向数据同步数据块可以双向同步数据,这使得Master-Master MySQL体系结构 云杂点之间的复制可以在云RDS之间复制数据 分布式部署点作为分布式服务,可提供高可用性和可伸缩性 文献资料 英语(即将推出) 贡献 我们欢迎您的贡献,也非常感谢。 有关提交补丁和贡献工作流程的详细信息,请参见。 社区 QQ群:852990221 在微信上订阅“ Actiontech开源社区”以获取有关dtle的更多信息: 联系我们 dtle有 立即下载

相关推荐

数据库原理(萨师煊)课件

这里包含了数据库概述,关系数据库模型,关系数据库语言SQL,数据库设计,关系规范化理论,数据库保护的内容,挺详细的需要可下看看

跨机房数据双向同步工具之DTLE(更新中)

一、环境说明 2节点DTLE: test_node1:192.168.222.76 角色:server+client test_node2:192.168.222.77 角色:client 二、安装 准备安装包: https://github.com/actiontech/dtle/releases rpm -ivhdtle-3.20.08.0.x86_64.rpm 三、配置 配置文件位于:/etc/dtle/consul.hcl、/etc/dtle/nomad.hcl ...

leonpenn的博客 *你本如虎,正当添翼* 1382

DC算法竞赛——北京PM2.5浓度回归分析

北京PM2.5浓度回归分析 比赛结果(118/1150) 一. 概述 1、项目来源:https://www.dcjingsai.com/static_page/cmpList.html 2、给定数据字段如下: 3、使用方法:回归算法 4、目的:预测北京pm2.5值,使平均预测误差越小越好。 二、分析过程 setwd("E:/R数据源") #读入数据 data <- read.csv('p...

玻璃球的博客 3474

数据传输 | dtle 使用初探

作者:马莹乐 爱可生研发团队成员,负责 mysql 中间件和数据库管理平台的测试。擅长找茬(测试技术爱好者),欢迎大家试用 dtle~ 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 dtle 是一款爱可生 MySQL 开源数据传输中间件,此文简要介绍初步使用方法。 项目地址:https://github.com/actiontec...

ActionTech的博客 2830

深入Luckfox Pico的Web界面:从Angular前端到CGI后端的RV1106 IPCWeb全栈解析

本文深入解析了基于瑞芯微RV1106芯片的Luckfox Pico设备上,IPCWeb全栈解决方案的架构与部署。详细介绍了如何通过SDK编译配置,将现代Angular前端框架与高效的C++ CGI后端结合,并利用nginx和FastCGI在嵌入式环境中构建稳定、高性能的Web管理界面,为物联网设备开发提供了完整的实战参考。

3a9bq4r8t2y的博客 275

硕士论文排版救星:用Mathtype一键搞定所有公式格式(附样式预设文件)

本文详细介绍了如何使用Mathtype的样式预设和批量格式化功能,快速统一硕士论文中的公式格式。通过创建标准样式预设文件和一键批量处理,解决公式字体、大小、间距不统一的问题,确保符合学术规范要求,大幅提升论文排版效率。

weixin_30772105的博客 936

数据传输 | DTLE Release Notes 详细解读 2.19.07.0

2.19.07.0 版本 DTLE Release Notes 以下对 DTLE 2.19.07.0 版本的 Release Notes 进行详细解读。 文章主要分为三部分内容: 一、DTLE 项目介绍 二、改进/产品特点 三、Bug 修复 四、DTLE Release Notes 一、DTLE 项目介绍 8月14日,开源数据传输组件 DTLE 最新版本 2.19...

ActionTech的博客 566

[工作流节点10] 获取多条数据并循环执行 —— 明道云批处理自动化实战

本文系统介绍了明道云工作流中"获取多条数据+循环执行"的批处理功能。该功能通过筛选数据集合并逐条处理,适用于批量通知、数据更新等场景。文章详细解析了功能配置方法,包括数据筛选、循环设置和异常处理,并提供了合同到期提醒等典型应用案例。同时强调了数据量控制、分批处理、错误处理等优化策略,帮助用户实现高效批量自动化。这一功能组合能将业务从单条处理升级为批量驱动,显著提升工作效率。

每日出拳老爷子的博客 454

数据传输 | dtle 之 job 实现简析

作者:吕海龙 爱可生 DTLE 团队成员,负责 DTLE 开发 ,日常问题处理以及相关问题的排查。 本文来源:原创投稿 爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 从 job 文件到源端目标端的数据传输,dtle 到底是如何行实现的的,传输过程中的高可用,又是由谁实现呢,下面,我们就简单的介绍一下,job 的实现的大体流程。 结构 如上图所示,在 job ...

ActionTech的博客 427

Open Lovable 网站克隆AI工具超详细实战教程(含环境配置、排错与代码修改)

本教程面向有一定计算机基础的新手用户,提供一份全面、深入的 Open Lovable 使用指南。从开发环境搭建、API密钥获取、项目部署到网站克隆、代码下载、本地运行与二次开发,涵盖全流程细节与常见问题解决方案。通过本教程,新手可掌握如何利用AI驱动的Open Lovable工具,将任意目标网站智能复刻为结构清晰、可编辑的现代前端项目(React/Vite),实现快速原型开发与技术学习。

hy行者勇哥的博客 4956

Windows 上 openclaw onboard --install-daemon 命令的安装位置和启动配置

摘要:Windows系统中,执行openclaw-cnonboard--install-daemon命令会创建计划任务OpenClawGateway,该任务在用户登录时自动运行位于%USERPROFILE%.openclaw\gateway.cmd的脚本文件来启动服务。管理方法包括通过任务计划程序或命令行(schtasks)查看/启停任务,使用openclaw gateway命令操作服务,或通过删除计划任务和脚本文件完全卸载服务。该机制确保OpenClawGateway服务随系统登录自动启动。(149字)

大坡3D软件开发 1370

数据传输 | 利用 DTLE 将 MySQL 数据同步到 DBLE

作者:任仲禹 爱可生 DBA 团队成员,擅长故障分析和性能优化,文章相关技术问题,欢迎大家一起讨论。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景 源于某客户的需求,存在线上某业务 MySQL 库因为数据量及业务读写压力较大,需要将业务数据迁移到 DBLE 分布式数据库,但同时因为业务为 7x24h,能够停机的时间窗口较短,所以需要考虑数据实时同步的方案。 过往 DBLE 的业务上线基本为全新部署,数据实时同步的情况极少实施,去年 DTLE .

ActionTech的博客 1471

华为OD机试真题 新系统2026-04-01 Python&JS 实现【空间占用计算】

员工A的磁盘空间经常被耗尽,他需要找到占用空间最大的目录或文件,然后决定如何清理文件释放空间。给定某一目录,请编写程序帮助他统计该目录内一级子目录和文件的占用空间,并返回目标目录一级子项(文件或子目录)中占用空间最大的项。

MISAYAONE的博客 1298

WebDNN高级技巧:10个提升模型推理速度的优化策略

WebDNN作为浏览器中最快的深度学习模型运行框架,支持直接加载ONNX模型并通过多种后端优化实现高效推理。本文将分享10个经过验证的高级优化策略,帮助开发者充分发挥WebDNN的性能潜力,显著提升模型在浏览器环境中的运行速度。 ## 1. 选择最优后端架构 WebDNN提供多后端支持,需根据目标设备特性选择最佳执行环境: - **WebGPU**:支持最新GPU特性的设备优先选择,通过[sr

gitblog_00347的博客 521

线结构光相机原理详解以及精度控制总结

摘要:线阵结构光相机是工业三维检测的核心设备,结合线阵相机的高分辨率与结构光的主动三维成像能力。其工作原理基于线激光投射、逐线扫描、亚像素级条纹提取及三角测量法实现三维重建。精度受硬件、校准、环境和算法四因素影响,需通过优化硬件选型(如小像元相机、窄线宽激光)、精准校准(相机内参、激光平面)、环境控制(遮光、隔振、恒温)及算法优化(Steger算法、点云后处理)来提升。典型应用(卷材、轨道检测)中深度精度可达5-20μm,需根据场景需求平衡参数配置。

start_up_go的博客 939

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

数据传输 | dtle 之库表重命名

作者:陈怡 爱可生南分团队 DBA,负责公司自动化运维平台维护和处理客户问题。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 前言 DTLE 是开源的数据传输组件,支持 MySQL 多种使用场景的数据传输。 可能会遇到这样的场景,将数据传输到目的端时,目的端的库名想要与源端的库名不一样。或者传输到目的端时,库名与源端的一样,但是想重命名表名与源端的不同。本文将简单介绍 DTLE 如何设置满足这样的场景。 安装部署 1、3.21.10.0 版本 rp.

ActionTech的博客 406

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

mysql数据采集中间件_开源 | MySQL数据传输中间件—DTLE

目前,随着MySQL在各个行业的深入使用,在不同数据系统、不同数据中心、不同业务系统之间进行数据传输、数据订阅、形成数据总线等需求逐渐增多。爱可生推出的DTLE是一个针对MySQL的使用特点、支持多种使用场景的数据传输中间件。DTLE是什么?DTLE是一个开源的数据传输中间件,其针对的核心场景如下:· 跨数据中心的数据传输:DTLE能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本· 云...

weixin_34377666的博客 475

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

数据传输 | 如何搭建 DTLE 的监控系统

作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景: 虽然在 DTLE 的文档里提供各种监控项的介绍,但是对于不熟悉 prometheus 和 grafana 配置的同学来说上手还是有些难度的。今天我就来 DTLE 3.21.07.0 来搭建一个 DTLE 的监控系统。 一、搭建 DTLE .

ActionTech的博客 315

数据传输 | DTLE 在弱网络环境下的性能报告

作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景条件: 使用 sysbench 压力工具对 10 张 1 万记录表进行增改删操作 使用 TC 工具来模拟高延时,低带宽场景 工具准备: 1.tc # 模拟网络带宽受限以及增加延迟 2.iperf3 # 验证网络带宽 3.sysben.

ActionTech的博客 451

数据传输 | 如何使用 DTLE 将 Oracle 数据同步到 MySQL

作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 前言:过年前 DTLE 发布了 4.22.01.0 版本,该版本最重要的特性是支持 Oracle-MySQL 增量数据同步。今天我就来给大家介绍一下这个功能。 一、现状 1. 目前只支持增量同步 a. 可以根据 SCN 节点开启增量复制 b. 从任务启动时间开启增量复制 2. 类型映射 a. .

ActionTech的博客 754

c使用tcp传输的二进制数据_数据传输 | dtle 使用初探

作者:马莹乐爱可生研发团队成员,负责 mysql 中间件和数据库管理平台的测试。擅长找茬(测试技术爱好者),欢迎大家试用 dtle~本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。dtle 是一款爱可生 MySQL 开源数据传输中间件,此文简要介绍初步使用方法。项目地址:https://github.com/actiontech/dtle一、下载安装...

weixin_39760433的博客 236

dtle mysql单项复制

1、grant all on.to repl identified by '111111';两边都创建用户,并刷新2、我的配置文件{ "Name":"dtle-demo", "Tasks":[ { "Type":"Src", "Config":{ "Gtid":"", ...

weixin_33711641的博客 506

开源MySQL数据传输中间件—DTLE

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34168700的博客 362

爱可生开源数据传输中间件DTLE亮相「3306π」深圳站年会

12月15日,上海爱可生信息技术股份有限公司赞助的「3306π」年会-深圳站成功举办,此次年会围绕MySQL核心技术,邀请各大行业一线大咖分享最新鲜的前沿技术与最生动的实践案例。爱可生技术服务总监洪斌现场分享了开源数据传输中间件DTLE的相关技术。     技术分享上午场   《MySQL开源数据传输中间件架构设计实践》 洪斌 | 爱可生技术服务总监     爱可生技术服...

ActionTech的博客 952

Otter-安装配置

前言 工作原理 原理描述: 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, Canal是拉去源库binlog日志的,跟从库功能类似。 典型管理系统架构,manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈到manager上 基于zookeeper,解决分布...

eagle89的专栏 4628

python判断是否是小写字母_python判断字符串是字母 数字 大小写(转载)

该楼层疑似违规已被系统折叠隐藏此楼查看此楼今天遇到的字符串处理的问题,记录一下方便使用str1 = input('请输入一个字符:')#初始化字符、数字、空格、特殊字符的计数lowercase = 0uppercase = 0number = 0space = 0other = 0for strs in str1:#如果在字符串中有小写字母,那么小写字母的数量+1if strs.islower(...

weixin_33223705的博客 4270
上一篇: 分布式 | DBLE Release Notes 详细解读 2.19.05.0
下一篇: 技术分享 | 修改外键和元数据锁定
爱可生开源社区
博客等级 码龄8年 1936粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值