kettle clob大量文本输出

文章详细介绍了使用Kettle处理大数据输出到文本文件时遇到的问题及解决方案,重点在于优化数据流输出机制,确保完整数据输出,避免在特定时间点停止作业导致数据不完整的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

近来在工作中遇到了一个问题,就是表输入以colb字段(每一行每一个字段差不多1M左右),最后文本文件输出每一行的colb字段,由于字段本身比较大,要输出的文件有28w个之多kettle的机制是每8k作为一个流进行输出,造成在文本输出时每8k的输出,而不是完整的colb输出,(如果数据量小,倒没什么明显的影响,但是这里有28w行的数据,在文本展现的时候会有的文本输出不全面)这样在某个时间点停止作业,数据不完整,添加了阻塞,并且选中“pass all row”,会在数据流完成后,才会流向文本文件输出控件。

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值