使用Kettle实现不同数据之间同步

kettle数据同步 笔者曾经做过一个项目,将一些数据从Oracle数据库中同步更新到PostgreSQL中,每天晚上凌晨1点开始同步,至凌晨5点前结束。在此期间,Oracle数据库中的数据又发生了变化,真的不好处理。因此,笔者认为,在进行数据同步的时候,工具只是其中一方面,还需要考虑其他的环境问题。事实上,如果系统数据设计完善完全可以才用增量更新的方式,更安全保险进行数据同步,那样就不会发生上述问题。数据库之间的同步:使用Kettle中的数据库连接组件,可以连接多个不同的数据库,并通过数据抽取、转换和加载步骤实现数据同步。 阅读详情

Contents

  • 1. 概述
  • 2. 软件安装
  • 3. 典型场景:Oracle-2-SqlServer
  • 4. 定期自动同步数据

1. 概述

Kettle是一个久负盛名的ETL数据传输工具,在我们接触过的许多IT企业中,几乎都有不同的开发或运维团队在使用这个工具。
Azure DevOps Server中存储着大量的开发过程数据,如果对于开发过程数据进行度量分析,为了避免大量读取实时库(AzureDevOps_DefaultCollection)导致性能问题,我们通常需要将实时数据库或清洗后数据仓库中的数据传输给第三方平台,实现数据分析和挖掘;为了完成这个数据传输功能,经过多方验证后,发现Kettle是一个比较理想的数据传输工具。本文主要介绍Kettle的基本使用场景。

2. 软件安装

  1. 配置Java环境:
    Kettle是一个开源软件,并且运行在Java环境中,如果需要在Windows系统中运行Kettle,一般需要安装JDK;在配置JDK的过程中,我们发现如果使用绿色版本的JDK配置环境变量后,Kettle是不能正常运行的,系统会提示找不到javaw的错误,因此建议用户下载JDK的Windows安装程序完成Java环境的配置。
  2. 下载Kettle程序包
    可以从官方完整http://www.kettle.be/中下载程序包,解压缩后就可以直接运行,无需安装
使用Kettle定时从数据库A同步数据到数据库B 由于项目场景原因,需要将A库(MySQL)中的表a、表b、表c中的数据定时T+1增量的同步到B库(MySQL)。这里说明一下,不是数据库的主从备份,就是普通的数据同步。 阅读详情

相关推荐

kettle 入门 案例(一) 实现不同数据库不同表 的数据同步

先来介绍下什么是kettle: Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计 用来帮助你实现你的ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水 壶,名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样:希望把各种数据放到 一个壶里然后以一种指定的格式流出。 Spoon 是一个图形用户界面,它允许...

Dxy的博客 6319

使用Kettle实现数据实时增量同步

0. 前言 本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间,可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳,在下一个同步周期时,通过这个时...

dora_310的博客 10万+

使用Kettle进行数据同步(增量)

文章目录kettle介绍kettle安装kettle使用使用kettle同步关系型数据库数据(MySQL示例)1. 创建一个转换2. 选择表输入3. 格式转换4. 执行脚本5. 创建job使用kettle同步NoSql数据(MongoDB示例)创建转换时的注意事项MongoDBInput怎么创建job的创建如何在Linux上面运行已经创建好的job?1、把创建好的job传输到Linux机器上面2、编辑kjb文件3、执行任务 kettle介绍 Kettle 是一款国外开源的 ETL 工具,纯 Java 编写

JenKin的博客 7351

使用Kettle批量同步数据库表

目的 (Kettle 版本5.2或以上 可由官网下载,免费开源) 从源库中同步若干张数据表至目标库或目标文件中 (鉴于Kettle工具对数据库连接的插件支持不是太好,最好是在源库与目标库类型相同的情况下使用,如:都是Oracle或都是Mysql等,当然不同的数据库也是可以的) 直接点:下载源代码  下载详细设计文档 数据同步方式 暂支持以下两种(即表2表 表2文件)可做配置 1)从源库表中同步...

小语一天 1万+

kettle 插入更新 数据增量_使用Kettle实现数据实时增量同步

2018-09-28: 示例job已上传至github,地址见文末0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间,可以通过它对数据在时间维度上进行排序。通过中间表记录每...

weixin_36359110的博客 2677

KETTLE实现MYSQL增量同步和全量同步

什么是增量同步 什么是全量同步 全量同步: 每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方,包括系统和所有数据。这种备份方式每次都需要对系统和所有数据进行一次全量备份。 如上,如果两次备份之间数据没有任何变化,那么两次备份的数据是一样的。也就是说100GB的数据即使没有发生任何数据变化,也会多耗费100GB的存储空间去做备份。但这种备份方式最大的好处就是在恢复丢失数据时,只需要对一个完整的备份进行操作就能够恢复丢失数据,大大加快了系统或数据恢复的时间 增量同步: 增量备份即在第一

weixin_47903213的博客 6124

Unity开源游戏源码精选:17个亲测可运行教学项目

Unity游戏开发中,掌握真实项目结构与工程实践远比熟记API更重要。本文围绕‘Unity开源项目’和‘游戏源码’两大核心概念,解析高质量开源资源的本质特征——结构清晰、逻辑可溯、修改即时反馈。从基础的MonoBehaviour生命周期组织,到进阶的ScriptableObject数据驱动、事件总线解耦,再到架构级的DOTS ECS设计与网络同步模式,技术价值在于将抽象原理落地为可调试、可验证、可迁移的代码范式。适用于新手建立开发直觉、中级开发者突破系统设计瓶颈,以及团队构建可维护框架。所有项目均基于Uni

weixin_31528001的博客 725

解密HDMI热插拔检测电路:从HPD引脚到EDID读取的全流程避坑

本文深入解析HDMI热插拔检测与EDID读取的全流程,从HPD引脚信号特性、DDC通道I2C协议到EDID数据结构,系统剖析了硬件电路设计、信号完整性和软件协议中的常见陷阱与解决方案,为消费电子设备开发者提供了一套完整的实战避坑指南。

weixin_29291069的博客 650

Linux系统下SAPGUI安装包选择与避坑指南

本文详细介绍了在Linux系统下选择和安装SAPGUI安装包的策略与避坑指南。重点解析了不同版本安装包的关键区别,特别是Linux版必须包含linux-lib.jar和linux64-lib.jar文件,避免误用Mac或Windows版导致的兼容性问题。文章还提供了针对Ubuntu、RHEL等不同Linux发行版的安装实战指南,以及常见报错的解决方案,帮助用户顺利完成SAPGUI的安装与配置。

weixin_28366353的博客 675

Rockchip RK3568实战:手把手教你调试I2S音频驱动(附ALSA设备树配置详解)

本文提供Rockchip RK3568平台I2S音频驱动的实战调试指南。详细解析了从硬件连接到软件配置的全过程,重点涵盖ALSA驱动框架下的设备树配置、时钟计算、DMA参数设置以及常见问题(如无声、爆音)的排查与解决方法,帮助开发者快速定位并解决音频驱动难题。

weixin_28358083的博客 502

【笔记】使用OrCAD对电路进行蒙特卡洛分析和最坏分析

使用OrCAD对电路进行蒙特卡洛分析和最坏分析

fang_dz999的博客 3151

Pandas实战指南:从数据结构到清洗聚合的完整解析

在数据分析工作中,表格数据处理是最常见的需求,无论是电商运营还是量化交易,都离不开对结构化数据的清洗与转换。Python生态中,Pandas凭借Series与DataFrame两种核心数据结构,将数据标签与数值绑定,实现自动对齐,极大简化了数据操作流程。它不仅是数据清洗的利器,也是分组聚合、透视表分析和时间序列处理的基础工具。掌握Pandas,意味着能够高效完成从数据读取、缺失值处理、类型转换到分组统计的完整分析流水线,将重复性报表工作自动化。本文基于实际使用经验,系统梳理Pandas的核心概念、常用操作、

weixin_30768881的博客 260

AI颠覆市场调研:生成式智能体如何重构商业决策?

AI正在将市场调研从"成本中心"转变为"战略武器"。当企业能够用生成式智能体实时模拟百万级虚拟用户时,传统调研的样本偏差、时间滞后、成本高昂等问题将不复存在。对于开发者而言,这不仅是技术的狂欢,更是参与商业规则重构的历史机遇。行动建议立即体验Simile/Aaru的智能体平台,验证虚拟样本效果参与LLM持续性记忆架构的开源项目(如Memory Llama)关注AI调研API的标准化进程(如Hugging Face的Market Research Toolkit)

这里汇聚了前沿的技术分享与实用的开发技巧,带你探索从创意到企业的技术创业之路。 617

lammps后处理:ovito选择原子高级技巧讲解

大家好,我是小马老师。 本文介绍如何在ovito中使用公式(Expression)选择需要的原子。 用ovito查看lammps模拟结果时,可能会遇到选择特定原子的情况,比如选择坐标位于一定范围内的原子,或者选择结构为fcc的原子等等。 这时候,就需要用到expression selection功能。 Expression selection功能比较强大,下面分别介绍几种选择原子的方法。 在输入公式前,先点击“Add modification”->"Expression selection"选项,在B

lammps_jiayou的博客 2万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: 更改Azure DevOps Server的原生界面(八、禁用网页浏览器查看源代码)
下一篇: Azure DevOps Server 2020 补丁
Azure DevOps
博客等级 码龄6年 219粉丝 296原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值