qq_32656561的博客

前言之前安装了kettle，不过在使用过程中出现了一系列问题，这里记录下来与大家分享。Winows配置好数据库连接jar包后，点击connect后白屏或报错，这是由于ie浏览器版本低的缘故，我安装的是kettle8.3，要下载安装ie11，安装完成后重启电脑点击connect可以正常使用。CentOS8在CentOS下，我本来安装的也是Kettle8.3，不过点击connect却一直报错...

背景有一个业务数据库，因为数据量比较大，所以只存储一个月内的数据，然而进行大数据分析等需要足够大的数据量，一个月的数据是远远不够的，所以就需要将业务数据库里的数据每天定时抽取到分析数据库，积累大量数据，也就是构建数据仓库，网上都说kettle好用，它的描述是：Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，绿色无需安装，可以在Windows、Linux、Unix上运行，数据抽...

因为此时 kettle 的版本是最新的，所以理所应当要跟oracle的最新版 ojdbc.jar包配合使用。步骤：oracle官网下载最新版 instantclient-basic-windows.x64-19.9.0.0.0dbru.zip ，解压得到 ojdbc8.jar，放到 kettle 的 data-integration/lib 目录下，然后重启就OK啦...

前言这是我在使用kettle进行数据抽取的时候遇到的问题，本来以为需要解决这个问题，没想到不用，但是毕竟尝试了，可能解决了，还是记录下来，给大家参考解决方案关于这个问题，官方有解释再来了解 随机数生成器/dev/random是Linux内核提供的安全随机数生成设备；/dev/random依赖系统中断信息来生成随机数，当设备数目比较少时，产生随机数的速度比较慢，如果应用对随机数的需求比...

背景刚开始做增量数据抽取，用的是插入/更新这个组件，经过测试，发现一个问题，数据量一大，传输久了后电脑会变的非常卡满，而且刚开始传的时候速度很快，到后面就很慢了。top一看，cpu使用率由原来的50%到了800%，不卡就有鬼了而且传输了大约300万条（花费30min左右）数据后，还会出现与数据库断线的情况（这个问题的解决方案 ）。然后想了个办法，根据源数据表中的一个自增字段，每隔6分钟传输...