Pentaho Kettle表输出控件“开始复制的数量”>1,导致数据重复【已解决】

一、问题描述

正在处理的迁移需求是,将一张表的数据完整导出到两张表中,因为数据量较大,每个表输出转换控件又修改了“复制的数量”这一参数,可以理解为线程数。
运行转换脚本,报错:
在这里插入图片描述
同样的数据被插入多次,违反目标表的唯一约束,当“复制的数量”>1就会出现该问题。

二、原因分析

跳(Hop)
跳是步骤之间带箭头的连线,跳定义了步骤之间的数据通路。
当一个输入控件对应多个输出控件时,会要求选择跳的类型,跳有两种形式,“分发”和“复制”

  • 分发记录:目标步骤轮流接受记录
  • 复制记录:所有的记录被同时发送到所有的目标步骤
    在这里插入图片描述
    我这里是一个表的数据要导入到两张表中,每个导出表都需要全部的数据条数,所以选择了复制。
    但是在“复制的数量”>1时,每个复制的表输出任务,都因为跳的类型是复制而得到了完整的数据,导致多个任务执行了同一个数据的多次插入。实际结果是等效于
    在这里插入图片描述

三、解决办法

使用 空操作 控件,拆分数据流
在这里插入图片描述

四、修改跳类型

每个转换中,一个输入控件对应多个输出控件时,都会要求选择跳的类型,如果勾选过“请不要再显示这个信息”选择框,
在工具栏中点击工具->选项进行配置在这里插入图片描述
或删除配置目录下.spoonrc文件后重启即可重置所有默认配置,配置文件路径

C:\Users\用户名\.kettle\kettle.properties

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值