小蚯蚓的博客

一、 环境1. 系统：CentOS Linux release 7.6.18102.Kettle：8.23.Jdk：1.8二、Jdk配置环境变量1. 安装jdk参考：https://blog.youkuaiyun.com/u010886217/article/details/891171112. 配置环境变量[root@docker-node1 software...

一、环境配置1.CDH 5.15.22.启动hiveserver2 确认端口号，默认是10000。自行修改的话，使用自己的。3.Kettle 8.2 下载地址：https://community.hitachivantara.com/docs/DOC-1009855二、配置Hive插件相关配置1.下载需要的hadoop jar包（hadoop-common...

一、转换和作业定义转换（Transformation） 和 作业（Job）是Spoon设计器的核心两个内容，这两块内容构建了整个Kettle工作流程的基础。1. 转换（Transformation）：主要是针对数据的各种处理，一个转换里可以包 含多个步骤（Step）。2. 作业（Job）：相较于转换，是更加高级的操作。一个作业里包括多个作业项（Job Entry），一个作业项代表了一项...

一、问题描述使用kettle将mysql数据表导入HDFS，但是，导出的到hdfs的文件格式错误，会有很多的空格，如下图然而，尽管在kettle设置了“去除左右两端空格”，但是没有效果！二、问题原因kettle默认指定“长度”列后，是其优先级是高于“去除空字符串方式”的，所以后续设置没有用。解决就是可以不填长度。三、解决办法1.方法一直接点击“最小宽度”，从...

一、实现功能Kettle （三）：mysql导入hive使用kettle将mysql中的数据导入hive，从而实现数据迁移。二、环境1.Centos7.42.CDH5.7.03.Kettle 8.04.JDK1.8三、Kettle中建立数据库连接1. 建立mysql数据库连接（1） 新建mysql_local的数据库连接（2） 输入mysql对...

一、实现功能使用kettle连接oracle，从oracle中抽取表或者向oracle写入表。使用ETL工具。二、环境1.Kettle8.02.Oracle：12c（windows）三、实现步骤1. 进入oracle安装目录下lib，拷贝所有ojdbc开头的文件jar包：...\app\oracle\product\12.2.0\dbhome_1\jdbc\lib...

一、问题描述使用kettle8.0连接oracle12c，发现将oracle安装目录下与ojdbc相关的jar包都拷贝到kettle的相关目录Program Files\kettle\data-integration\lib下。配置连接但是，运行测试连接oracle还是报错：[oracle_local] : org.pentaho.di.core.exception.Kettle...

一、问题描述使用oracle自带的sql developer登录sys是没有问题的：但是，使用sys登录kettle确实是有问题的，错误连接数据库 [oracle] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the data...

一、实现功能Kettle实现定时更新的，从而，可以定时从pgsql中抽取数据到oracle。二、环境1.kettle8.02.oracle12c三、新建pgsql到oracle转换1.新建一个转换settime_transfer.ktr2.其中表输入是pgsql的student_de表3.插入更新模块4.新建settime.job（1）拖入相关组件（...