kettle介绍-Step之If field value is null

最新推荐文章于 2024-10-09 17:58:01 发布
最新推荐文章于 2024-10-09 17:58:01 发布
阅读量652 收藏
点赞数 1
分类专栏： kettle 文章标签： kettle 替换NULL值
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43398232/article/details/137348189
版权

If field value is null介绍

替换NULL值步骤可以将输入流中所有字段的空值进行替换，也可以指定一种类型下的空值进行替换，还可以指定一个字段下的空值进行替换
在这里插入图片描述
三种替换NULL模式

  • 所有字段空值全部替换
  • 选定字段替换指定值
  • 根据数据类型替换指定值
实验五kettle：字符串操作（去空，值替换，补位）
weixin_44727274的博客
01-25 2万+
【实验目的】 1.利用Kettle的“过滤记录”，“字符串替换”，“字符串操作”组件，实现记录的过滤，字符串替换及字符串的去空格功能。 2.熟练掌握“过滤记录”，“字符串替换”，“字符串操作”等组件的使用，实现记录的过滤，字符串替换及字符串的去空格功能。 【实验原理】 通过“过滤记录”对单元格为空的记录进行过滤，然后通过“字符串替换”指定替换单元格中某些特定内容，再通过“字符串操作”实现字符串的去空格功能。 【实验环境】 操作系统：Windows10  Kettle版本：7.1.0.0 jdk版本：1.8.
Kettle--java代码组件实现密码加密(BCryptPasswordEncoder)
大风起兮云飞扬
01-14 2463
前提 通过kettle同步用户账号数据，需要用身份证后六位做为密码。但是存储到数据库中的密码是加密后，也就说在同步的时候就要对密码加密。 问题 因为业务用的spring boot中security中的接口PasswordEncoder的BCryptPasswordEncoder实现类来实现密码加密的，如何在kettle中使用这个类？ 解决 通过查阅相关资料，java片段可以使用jdk的所有类，但是如果是自定义的类则需要将类打入到jar包中，然后放到kettle的lib下，再在java片段中引入该类。但是因为
kettle-替换null值
weixin_41668007的博客
06-29 5505
控件设置 结果 替换前 替换后
关于 If field value is null - Pentaho 失效的问题
kxcc_sx的专栏
10-12 2425
     最近一直使用Pentaho 的 spoon  进行数据挖掘的ETL数据处理 在使用其中的 "If field value is null "的插件的时候，发现当我的csv 的某个字段值 为空或者null 的时候该判断失效，总不起作用后来google 到 pentahao 的网站看到有人问同样的问题，内容大概如下： ===================================
kettle开发篇-替换空值-Day18
qq_29061315的博客
12-16 1971
前言： 前面我们讲了字符串、列、行的去空、排序、行转列、列转行等操作，今天我们来讲针对字符串专题的最后一个操作，替换空值类似oracle 中的nvl函数，nvl(字段，'赋新值')和sqlserver中isnull(字段，'赋新值')是相同的意思。但是本次我们讲解的是针对EXCEL的操作，怎么通过kettle快速将空值转换为新值，然后输出至EXCEL。 一、替换空值 因为是个新分类，这边介绍...
kettle案例13-替换NULL
勇气与行动
10-27 3590
参考《ETL数据整合与处理》--任务3.3 在Kettle转换过程中，默认情况下，会将空值当做NULL值处理。如果数据类型字段出现NULL值，那么在计算时就会出现错误。在“2019年11月月考英语成绩.xls”文件中，学号为“201709007”的同学没有参加考试，根据规定考试分数将按0分处理，需要使用【替换NULL值】组件，使用“0”替换该同学的英语考试分数。 ...
Kettle-ActiveMQ Consumer插件开发笔记
twx843571091的博客
07-02 1057
ActiveMQ Consumer插件开发笔记 源代码 https://github.com/tangwenixng/soyuan-activemq-plugin 概览 前提 该插件基于kettle 8.1.0.0-365 开发 如果是其他版本，不保证可用。(由于继承的BaseStreamingDialog等父类会随版本而变化) 本插件模仿官方Kafka插件源码编写： https://github.com/pentaho/big-data-plugin/tree/master/kettle-plug
使用kettle进行数据清洗
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-07 7597
本实验任务主要完成基于ubuntu环境的使用kettle进行数据清洗的工作。通过完成本实验任务，要求学生熟练掌握使用kettle进行数据清洗的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握使用kettle进行数据清洗Ubuntu16.04、Java1.8、Kettle7.1Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。   Kettle组成部分： Kettle概
ETL-kettle-11.在kettle中使用JavaScript生成MD5
ShanDing_Blog
11-15 2772
js文件要与转换文件保存路径一样的！ LoadScriptFile(getVariable(“Internal.Transformation.Filename.Directory”, “”) +"/MD5.js"); var 联合ID = XX+XXID+XXID; var 联合ID_toMD5 = hex_md5(hex_md5(联合ID)); 接下来是MD5.JS <?xml versi...
kettle之java组件 对redis集群进行增删改查
信徒博客
06-03 276
commons-pool2-2.4.2.jar（kettle自带commons-pool-1.5.7.jar）
kettle利用数据库查询查重时需要null等于null
康菜菜菜鸟之路
04-23 917
在业务中遇到这个问题，流里的字段和数据库的对应的字段就算都是null也要认定为相同，这时勾选使用缓存就能实现。 如果打了勾，null==null 为true ，否则null==null 为false ...
Kettle8.2应用组件之替换NULL和写日志
若兰幽竹
04-18 1203
Kettle8.2应用组件之替换NULL和写日志一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 替换NULL组件说明： 替换NULL值就是把null转换为其它的值。NULL值不好进行数据分析。 写日志组件说明： 写日志主要是在调试的时候使用，把日志信息打印到日志窗口。 需求说明： 从数据库中的sys_user表读取数据，将update_by字段为NULL的替换成admin，并将执行转换时的详细日志通过写日志组件向日志输出窗口打印出所有的数据信息。 测试数据源和如
kettle 将null值转换成‘‘传入到mysql的非空字段中
最新发布
qq_45245462的博客
10-09 677
直接在窗口编辑处点击编辑kettle.properties文件，找到KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL，将N改为Y，确定后重启spoon.bat即可。mysql的非空条件是不能为null，但是这个字段如果是字符串类型，是允许’'（空字符串）写进的，而kettle在读写过程中，会将空字符改为null写入表中，所以就出现报错。修改kettle.properties中的参数设置，让kettle在遇到"时，区别出它是与null不同的，不能作为null值传递。
Kettle同步表数据null处理
weixin_48070036的博客
02-09 2399
Kettle同步表数据null处理
KETTLE:null与空字符案例以及解决方案
Java小白的博客
06-28 4658
场景 前几天实施给我们提了个问题，说是在使用系统的过程中，在oscar数据库环境下，使用kettle通过表输入组件经过excel输出组件生成excel文件，然后再通过excel输入组件经过表输出组件到另一个库。他们发现数据库中null类型的字段和‘’类型的字段存到目标数据库时都变为了null，而且他们对两种不同类型的值敏感，所以需要保持一致。 分析 1：应该是转到excel后，excel不区分这两种类型导致，然后再存入目标表时，都转化为了...
kettle-过滤记录(类似于if else)
weixin_41668007的博客
06-30 6123
结果 处理前 处理后 不为空 为空
kettle 小结：
u013303361的专栏
07-12 324
1. 调用shell脚本时候注意：If there is a name collision between a parameter and a variable, the parameter will take precedence.If there is a name collision with a parameter or argument, variables will defer.传参给...
kettle——异常值的删除、替换
m0_60154718的博客
06-09 2223
①点击”浏览”，将转换结果保存到test6_1.xls文件。②分隔符改为“tab”,取消”头部”复选框。①将转换结果保存为test6_2.xls文件。②获取字段，将温度的值设置成整数。可通过“测试”，验证是否连接数据库。根据执行过程看出过滤了一条记录。③获取字段，并修改字段名称。验证 可知137已被过滤。③预览查看数据表信息。
日增进：kettle如何处理文本数据传输为‘‘而不是null
神芷迦蓝寺
09-07 1128
kettle在传输过程中有时候会遇到字段数据为空，会写入''，但是传输的目标字段里该字段为number或者date类型，这个时候就会报错 比如kettle 传输了两个字段，id,name,age，文本字符该字段为空，传入的是''，而不是null,则就会报字段限制错误 这个时候我们可以在${KETTLE_HOME}/.kettle/kettle.properties文件里加一句 # 自动填补为空 KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y 那么对于文件里的空字符
给出详细的java 代码
05-27
以下是一个使用Kettle将两个MySQL库中的表数据合并到Excel文件中的Java代码示例，包括了连接MySQL数据库、读取表数据、合并数据、写入Excel文件等基本步骤： ```java import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.database.DatabaseMeta; import org.pentaho.di.core.exception.KettleException; import org.pentaho.di.core.plugins.PluginRegistry; import org.pentaho.di.core.plugins.StepPluginType; import org.pentaho.di.core.row.RowMetaInterface; import org.pentaho.di.core.row.ValueMetaInterface; import org.pentaho.di.core.row.value.ValueMetaString; import org.pentaho.di.trans.Trans; import org.pentaho.di.trans.TransMeta; import org.pentaho.di.trans.step.StepMeta; import org.pentaho.di.trans.step.StepMetaInterface; import org.pentaho.di.trans.step.StepTypeInterface; import org.pentaho.di.trans.steps.exceloutput.ExcelOutputMeta; import org.pentaho.di.trans.steps.exceloutput.ExcelOutputStepMeta; import org.pentaho.di.trans.steps.mergejoin.MergeJoinMeta; import org.pentaho.di.trans.steps.mysqlinput.MySQLInputMeta; import java.util.ArrayList; import java.util.List; public class KettleExample { public static void main(String[] args) throws KettleException { // 初始化Kettle环境 KettleEnvironment.init(); // 创建转换元数据对象 TransMeta transMeta = new TransMeta(); // 创建MySQL数据库连接信息 DatabaseMeta dbMeta1 = new DatabaseMeta("db1", "MYSQL", "Native", "localhost", "db1", "3306", "username", "password"); DatabaseMeta dbMeta2 = new DatabaseMeta("db2", "MYSQL", "Native", "localhost", "db2", "3306", "username", "password"); // 添加MySQL输入步骤1 MySQLInputMeta inputMeta1 = new MySQLInputMeta(); inputMeta1.setDatabaseMeta(dbMeta1); inputMeta1.setSQL("SELECT * FROM table1"); StepMeta inputStep1 = new StepMeta("MySQL Input 1", inputMeta1); transMeta.addStep(inputStep1); // 添加MySQL输入步骤2 MySQLInputMeta inputMeta2 = new MySQLInputMeta(); inputMeta2.setDatabaseMeta(dbMeta2); inputMeta2.setSQL("SELECT * FROM table2"); StepMeta inputStep2 = new StepMeta("MySQL Input 2", inputMeta2); transMeta.addStep(inputStep2); // 添加合并步骤 MergeJoinMeta mergeMeta = new MergeJoinMeta(); mergeMeta.setJoinType("FULL OUTER JOIN"); mergeMeta.setKeyFields1(new String[]{"id"}); mergeMeta.setKeyFields2(new String[]{"id"}); StepMeta mergeStep = new StepMeta("Merge Join", mergeMeta); transMeta.addStep(mergeStep); transMeta.addTransHop(new TransHopMeta(inputStep1, mergeStep)); transMeta.addTransHop(new TransHopMeta(inputStep2, mergeStep)); // 添加Excel输出步骤 ExcelOutputMeta outputMeta = new ExcelOutputMeta(); outputMeta.setFileName("output.xlsx"); outputMeta.setSheetname("Sheet1"); outputMeta.setHeaderEnabled(true); List<ExcelOutputStepMeta.FieldMapping> fields = new ArrayList<>(); RowMetaInterface outputFields = new RowMetaInterface() { @Override public int size() { return 3; } @Override public ValueMetaInterface getValueMeta(int index) { switch (index) { case 0: return new ValueMetaString("id"); case 1: return new ValueMetaString("name"); case 2: return new ValueMetaString("value"); default: return null; } } @Override public String[] getFieldNames() { return new String[]{"id", "name", "value"}; } @Override public int indexOfValue(String valueName) { switch (valueName) { case "id": return 0; case "name": return 1; case "value": return 2; default: return -1; } } }; fields.add(new ExcelOutputStepMeta.FieldMapping(0, "id")); fields.add(new ExcelOutputStepMeta.FieldMapping(1, "name")); fields.add(new ExcelOutputStepMeta.FieldMapping(2, "value")); outputMeta.setFieldMappings(fields); outputMeta.setOutputFields(outputFields); StepMeta outputStep = new StepMeta("Excel Output", outputMeta); transMeta.addStep(outputStep); transMeta.addTransHop(new TransHopMeta(mergeStep, outputStep)); // 运行转换 Trans trans = new Trans(transMeta); trans.execute(null); trans.waitUntilFinished(); if (trans.getErrors() > 0) { System.out.println("Error"); } else { System.out.println("Success"); } } } ``` 需要注意的是，这只是一个简单的示例代码，实际应用中需要根据具体的数据表结构和业务需求进行相应的修改和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值