爱可生开源数据传输中间件DTLE亮相「3306π」深圳站年会

初试DTLE-单向-聚合-分散复制 环境准备 主机名 IP地址 部署服务 study01 10.186.65.68 DTLE、MySQL study02 10.186.65.71 DTLE、MySQL study03 10.186.65.72 DTLE、MySQL Ps:如果不适用容器进行部署,首先安装三台或以上MySQL实例,并开启binlog以及GTID DTLE概述 dtle (Data-Transformation-le) 是上海爱可⽣信息技术股份有限公司 开发并开源的 CDC ⼯具. 其功能特点是: 阅读详情

12月15日,上海爱可生信息技术股份有限公司赞助的「3306π」年会-深圳站成功举办,此次年会围绕MySQL核心技术,邀请各大行业一线大咖分享最新鲜的前沿技术与最生动的实践案例。爱可生技术服务总监洪斌现场分享了开源数据传输中间件DTLE的相关技术。

 

 

技术分享上午场

 

《MySQL开源数据传输中间件架构设计实践》

洪斌 | 爱可生技术服务总监

 

 

爱可生技术服务总监洪斌老师从开源数据传输中间件DTLE的由来、解决的核心场景、设计的基本原则以及架构功能等方面详细介绍了DTLE,为使大家更好的了解使用DTLE,洪斌现场对DTLE的数据迁移功能的Demo演示视频进行讲解,并分析了测试相关的的云间同步案例。

 

《发挥MySQL 8.0的优势》

马楚成 | 甲骨文 PrincipalSalesConsultant

 

 

甲骨文官方技术专家马楚成老师与大家分享使用 MySQL HA - InnoDB Cluster + Docker + MySQL 8.0 最新功能上的优势,并就升级到MySQL 8.0的方法和可能遇到的疑问与在座参会者进行探讨。

 

《TDSQL在金融交易场景的应用实践》

雷海林 | 腾讯 数据库技术专家

 

 

腾讯金融数据库TDSQL技术负责人雷海林老师从HTAP融合的核心架构、高一致性分布式事务的处理结构、TDSQL最佳实践以及运营体系四个方面分享了TDSQL在腾讯金融交易场景的应用实践。

 

技术分享下午场

 

《开源分布式数据库RadonDB技术揭秘》

李志昂 | 青云 数据库资深研发工程师

 

 

青云资深数据库研发工程师李志昂老师分享了其开源分布式数据库RadonDB在已有的架构上分布式事务的增强,Multiple-Statement Transaction的实现,以及基于全局表的join功能及如何保证全局表写原子性等。

 

《MySQL8.0中InnoDB新特性详解及TXSQL相关优化》

赖铮 | 腾讯 高级工程师

 

 

腾讯的高级工程师赖铮老师分享了随着MySQL 8.0的GA,其中InnoDB的功能及性能方面的改进,详细介绍了MySQL 8.0中InnoD的几大新特性,同时对腾讯TXSQL中相关的优化工作进行了讲解。

 

《MongoDB应用运维与架构实践进阶》

李丹 | 罗辑思维 首席DBA

 

 

罗辑思维首席数据库专家李丹老师就数据库的选型之争,MongoDB在企业中的应用,生产环境架构选择的考量与最佳实践,Mongo分片集群的chunk、分裂与均衡的原理等多个方面对MongoDB的应用运维与架构实践进阶进行详细阐述。

 

《Vivo大规模Redis集群实践》

肖博 | Vivo 高级数据库架构师

 

 

Vivo 高级数据库架构师肖博老师分享了Redis作为Vivo最大规模的缓存服务产品,在支撑公司各项业务高速发展,单机服务进阶到主从服务,最后发展为Redis集群模式等Redis在Vivo的实践应用以及改进优化。

 

《有赞数据库运维实践》

杨奇龙 | 有赞 资深数据库专家

 

 

有赞资深数据库专家杨奇龙老师介绍了有赞作为SAAS服务提供商背后的数据库发展历程以及业务发展遇到的问题,通过对DBA如何通过构建数据库服务平台解决问题的分享与参会者进行了互动交流。

 

数位大咖的精彩分享以新鲜事例与充分讲解展示了年会的满满诚意,现场爱可生赞助的惊喜大奖吸引了在座同学的踊跃参与。2018年的社区活动已落下帷幕,2019年我们会继续保持优质高效的技术分享,明年见!

 

 

爱可生已与多个行业内的专业公司建立了长期伙伴关系,不断促进新技术与行业知识相结合,为用户寻求新的数据驱动的价值增长点。让我们展现新作为,创造新价值!

dtle:MySQL的分布式数据传输服务 dtle(Data-Transformation-le) 什么是干粉 dtle是MySQL数据传输/复制工具。 压缩碎片可以压缩传输中的数据,从而节省了成本。 双向数据同步数据块可以双向同步数据,这使得Master-Master MySQL体系结构 云杂点之间的复制可以在云RDS之间复制数据 分布式部署点作为分布式服务,可提供高可用性和可伸缩性 文献资料 英语(即将推出) 贡献 我们欢迎您的贡献,也非常感谢。 有关提交补丁和贡献工作流程的详细信息,请参见。 社区 QQ群:852990221 在微信上订阅“ Actiontech开源社区”以获取有关dtle的更多信息: 联系我们 dtle有 立即下载

相关推荐

数据库原理(萨师煊)课件

这里包含了数据库概述,关系数据库模型,关系数据库语言SQL,数据库设计,关系规范化理论,数据库保护的内容,挺详细的需要可下看看

c 连接mysql云数据库_直击DTCC | 《MySQL云数据库架构设计与实践》主题分享

原标题:直击DTCC | 《MySQL云数据库架构设计与实践》主题分享 导读:本文根据爱可生洪斌在第九届中国数据库技术大会(DTCC)的现场演讲内容整理而成。小编阅读全文需要 15分钟。爱可生技术服务总监 洪斌爱可生技术服务总监,负责MySQL数据库在传统行业客户的应用推广与技术咨询,曾为运营商、银行、证券、保险、航空等行业内数家大型企业提供MySQL技术咨询服务。《MySQL云数据库架构设计与实...

weixin_39967670的博客 271

ENVI遥感技术

记录2024.03.06所遇到的遥感问题

qq_44453923的博客 4330

Gdevops峰会| 在什么情况下应该考虑换数据库了?

从过去40年至今,数据库的形态基本经历了传统商业数据库、开源数据库到云原生数据库的演进过程。云时代下数据库将如何革新与创变?金融行业核心数据库迁移与建设如何安全平稳展开?Gdevops全...

codingpy的博客 473

Android开发者必看:5分钟搞定MQTT客户端连接EMQX服务器(附完整代码)

本文为Android开发者提供了一份快速实现MQTT客户端连接EMQX服务器的实战指南。通过引入Eclipse Paho SDK,详细讲解了从项目配置、权限申请到核心连接、主题订阅与消息发布的完整流程,并附有即拿即用的Kotlin代码,帮助开发者在物联网应用中高效集成轻量级实时通信功能。

weixin_29228781的博客 271

【论文精读】DisCo: Graph-Based Disentangled Contrastive Learning for Cold-Start Cross-Domain Recommendat

源域中具有相似偏好的用户在目标域中可能会表现出不同的兴趣。因此,直接迁移嵌入可能会引入不相关的源域协同信息。提出了一个基于图的解耦对比学习框架,以捕捉细粒度的用户意图并过滤掉不相关的协同信息,从而避免负迁移。 具体而言,对于每个域,我们使用多通道图编码器来捕捉多样化的用户意图。然后,我们在嵌入空间中构建亲和图,并执行多步随机游走以捕捉高阶用户相似性关系。将一个域视为目标域,我们提出了一种以用户相似性为指导的解耦意图对比学习方法,以优化跨域的用户意图桥接。

qq_52342142的博客 1227

数据传输 | dtle 使用初探

作者:马莹乐 爱可生研发团队成员,负责 mysql 中间件和数据库管理平台的测试。擅长找茬(测试技术爱好者),欢迎大家试用 dtle~ 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 dtle 是一款爱可生 MySQL 开源数据传输中间件,此文简要介绍初步使用方法。 项目地址:https://github.com/actiontec...

ActionTech的博客 2830

高德地图开放平台Web服务API调用全解析:从申请Key到获取POI数据的完整流程

本文详细解析高德地图开放平台Web服务API的合规使用流程,从开发者账号注册、Key类型选择到POI数据采集方案构建。重点介绍文本搜索接口的三种查询模式及高级筛选技巧,提供配额管理与性能优化方案,并分享商业应用场景实战经验,帮助开发者合法高效获取POI数据。

weixin_26950847的博客 1348

跨机房数据双向同步工具之DTLE(更新中)

一、环境说明 2节点DTLE: test_node1:192.168.222.76 角色:server+client test_node2:192.168.222.77 角色:client 二、安装 准备安装包: https://github.com/actiontech/dtle/releases rpm -ivhdtle-3.20.08.0.x86_64.rpm 三、配置 配置文件位于:/etc/dtle/consul.hcl、/etc/dtle/nomad.hcl ...

leonpenn的博客 *你本如虎,正当添翼* 1382

HTML5期末大作业:水果超市网站设计——水果超市(6页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 网购商城设置网页

HTML5期末大作业:水果超市网站设计——水果超市(6页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 网购商城设置网页 常见网页设计作业题材有 个人、 美食、 公司、 学校、 旅游、 电商、 宠物、 电器、 茶叶、 家居、 酒店、 舞蹈、 动漫、 明星、 服装、 体育、 化妆品、 物流、 环保、 书籍、 婚纱、 军事、 游戏、 节日、 戒烟、 电影、 摄影、 文化、 家乡、 鲜花、 礼品、 汽车、 其他 等网页设计题目, A+水平作业, 可满足大

1712

MOSFET雪崩特性参数解析

但是,一些电源在输出短路时,初级中会产生较大的电流,加上初级电感,器件就会有雪崩损坏的可能,因此在这样的应用条件下,就要考虑器件的雪崩能量。对于那些在MOSFET的D和S极产生较大电压的尖峰应用,就要考虑器件的雪崩能量,电压的尖峰所集中的能量主要由电感和电流所决定,因此对于反激的应用,MOSFET关断时会产生较大的电压尖峰。雪崩击穿能量标定了器件可以容忍的瞬时过冲电压的安全值,其依赖于雪崩击穿需要消散的能量。EAS单脉冲雪崩击穿能量, EAS标定了器件可以安全吸收反向雪崩击穿能量的高低。

Airer_00的博客 806

数据传输 | 利用 DTLE 将 MySQL 数据同步到 DBLE

作者:任仲禹 爱可生 DBA 团队成员,擅长故障分析和性能优化,文章相关技术问题,欢迎大家一起讨论。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景 源于某客户的需求,存在线上某业务 MySQL 库因为数据量及业务读写压力较大,需要将业务数据迁移到 DBLE 分布式数据库,但同时因为业务为 7x24h,能够停机的时间窗口较短,所以需要考虑数据实时同步的方案。 过往 DBLE 的业务上线基本为全新部署,数据实时同步的情况极少实施,去年 DTLE .

ActionTech的博客 1471

第五章 TTM 后备管理:5.11 迁移的执行

本文讨论 TTM 框架中缓冲区对象(BO)数据搬运的完整流程,涵盖搬运入口 ttm_bo_handle_move_mem() 的执行步骤、驱动 move 回调的约定、同步辅助函数的使用、多跳迁移机制及异步流水化搬运的处理。重点说明了中转位置的引入原因与执行逻辑,以及通过 ghost 对象和 fence 机制解决异步搬运中的资源释放与访问一致性问题,确保数据安全迁移的同时支持 GPU 异步操作。

图形/计算GPU的驱动与虚拟化技术分享园地 1708

WebDNN高级技巧:10个提升模型推理速度的优化策略

WebDNN作为浏览器中最快的深度学习模型运行框架,支持直接加载ONNX模型并通过多种后端优化实现高效推理。本文将分享10个经过验证的高级优化策略,帮助开发者充分发挥WebDNN的性能潜力,显著提升模型在浏览器环境中的运行速度。 ## 1. 选择最优后端架构 WebDNN提供多后端支持,需根据目标设备特性选择最佳执行环境: - **WebGPU**:支持最新GPU特性的设备优先选择,通过[sr

gitblog_00347的博客 521

Ardupilot chibios IO固件,IO与FMU通信,固件下载(3)

目录 文章目录目录摘要 摘要 本节主要记录自己学习IO与FMU通信

陌城烟雨 2800

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

警惕热门技术陷阱,数据库与存储技术规划如何制定?

本文根据肖博老师在〖2021 Gdevops全球敏捷运维峰会-广州站〗现场演讲内容整理而成。(点击文末“阅读原文”可获取完整PPT)讲师介绍肖博,vivo 存储研发团队负责人。负责vivo...

杨建荣的学习笔记 505

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

数据传输 | dtle 之库表重命名

作者:陈怡 爱可生南分团队 DBA,负责公司自动化运维平台维护和处理客户问题。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 前言 DTLE 是开源的数据传输组件,支持 MySQL 多种使用场景的数据传输。 可能会遇到这样的场景,将数据传输到目的端时,目的端的库名想要与源端的库名不一样。或者传输到目的端时,库名与源端的一样,但是想重命名表名与源端的不同。本文将简单介绍 DTLE 如何设置满足这样的场景。 安装部署 1、3.21.10.0 版本 rp.

ActionTech的博客 406

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

数据传输 | 如何使用 DTLE 将 Oracle 数据同步到 MySQL

作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 前言:过年前 DTLE 发布了 4.22.01.0 版本,该版本最重要的特性是支持 Oracle-MySQL 增量数据同步。今天我就来给大家介绍一下这个功能。 一、现状 1. 目前只支持增量同步 a. 可以根据 SCN 节点开启增量复制 b. 从任务启动时间开启增量复制 2. 类型映射 a. .

ActionTech的博客 754

数据传输 | DTLE 在弱网络环境下的性能报告

作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景条件: 使用 sysbench 压力工具对 10 张 1 万记录表进行增改删操作 使用 TC 工具来模拟高延时,低带宽场景 工具准备: 1.tc # 模拟网络带宽受限以及增加延迟 2.iperf3 # 验证网络带宽 3.sysben.

ActionTech的博客 451

Echarts+ajax实现多条折线图

需求: 统计不同的时间段里面,监测到的血压数据,分别是高血压的数据和低血压的数据,需要使用两条折线图表示出来,这里就要用到了Echarts的多条折线图的demo了,并且使用ajax请求json数据,将请求到的数据渲染到图表里面进行表示~~ 示例代码如下: <!DOCTYPE html> <html> <head> <meta cha...

祈澈菇凉 1567

vivo数据库与存储平台的建设和探索

作者:vivo互联网数据库团队-Xiao Bo一、数据库与存储平台建设背景以史为鉴,可以知兴替,做技术亦是如此,在介绍平台之前,我们首先来一起回顾下vivo互联网业务近几年的发展历程。我们...

架构师小秘圈 393

c使用tcp传输的二进制数据_数据传输 | dtle 使用初探

作者:马莹乐爱可生研发团队成员,负责 mysql 中间件和数据库管理平台的测试。擅长找茬(测试技术爱好者),欢迎大家试用 dtle~本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。dtle 是一款爱可生 MySQL 开源数据传输中间件,此文简要介绍初步使用方法。项目地址:https://github.com/actiontech/dtle一、下载安装...

weixin_39760433的博客 236

爱可生MySQL开源数据传输中间件DTLE首次技术分享

10月27日,上海爱可生信息技术股份有限公司赞助的「3306π」技术 Meetup - 武汉站成功举办,爱可生技术服务总监洪斌分享了《MySQL 开源数据传输中间件架构设计实践》的主题演讲,并对爱可生10月24日最新开源项目 DTLE 相关技术细节进行了详细讲解。   DTLE: http://dtle.cloud https://github.com/actiontech/dtle ...

ActionTech的博客 9866

mysql数据采集中间件_开源 | MySQL数据传输中间件—DTLE

目前,随着MySQL在各个行业的深入使用,在不同数据系统、不同数据中心、不同业务系统之间进行数据传输、数据订阅、形成数据总线等需求逐渐增多。爱可生推出的DTLE是一个针对MySQL的使用特点、支持多种使用场景的数据传输中间件。DTLE是什么?DTLE是一个开源的数据传输中间件,其针对的核心场景如下:· 跨数据中心的数据传输:DTLE能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本· 云...

weixin_34377666的博客 475

如何为Kafka集群选择合适的Partitions数量

如何为Kafka集群选择合适的Partitions数量Hadoop技术博文  这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。文章目录 [hide]1 越多的分区可以提供更高的吞吐量2 越多的分区需要打开更多地文件句柄3 更多地分区会导致更高的不可用性4 越多的分区可能增加端对端的延迟5 越多的partition意味着需要客户

数据之路 1万+

dtle mysql单项复制

1、grant all on.to repl identified by '111111';两边都创建用户,并刷新2、我的配置文件{ "Name":"dtle-demo", "Tasks":[ { "Type":"Src", "Config":{ "Gtid":"", ...

weixin_33711641的博客 506
上一篇: 官宣 | 爱可生云树分布式数据库通过DCA第七批大数据产品能力评测
下一篇: 2018 开源分布式中间件 DBLE 年报
爱可生开源社区
博客等级 码龄8年 1936粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值