kettle数据同步从FTP服务器上下载文件

最新推荐文章于 2024-05-08 17:27:24 发布
原创 最新推荐文章于 2024-05-08 17:27:24 发布 · 5.2k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库 #etl

本文介绍如何使用Kettle数据同步工具，通过JOB设置实现每隔一小时从FTP服务器下载特定格式的文件。关键步骤包括：设置系统日期变量，使用JavaScript提取时间信息，配置FTP选项，尤其是正则表达式匹配动态文件名，以及处理文件编码和操作选项，以确保文件正确下载并避免乱码问题。

从FTP服务器上下载文件

这个是JOB实现的是每隔一个小时从FTP服务器上下载当前时段的一个文件。此JOB要实现的核心在于时间变量的设置，同时还需要根据你要下载的文件编写相应的正则表达式。

首先我们来看变量是如何设置的：

第一：获取使用获取系统信息选项，此选项在装换当中的输入文件夹下面。

打开此选项我们可以看到有如下一些选择：

这里根据我们的需求选择“系统日期（可变）”，这个是第一步，接下来就要使用到另一个重要的选项“javascript”。

第二

最低0.47元/天 解锁文章
使用Kettle从FTP拉取文件
awenzhangc的专栏
02-01 3万+
1、业务场景简要说明 对接方式：FTP文件。 客户的FTP目录路径: /201602/01/xxx.txt /201602/01/xxx.txt 注意点 对方在写文件的时候，应先将文件写入到临时文件，写完后，再rename文件名。 如：先写xxx.txt.tmp->xxx.txt 2、流程 2.1转换流程构造路径 //获得当前系统时间
使用Kettle批量同步数据库表
小语一天
08-14 1万+
目的 (Kettle 版本5.2或以上 可由官网下载，免费开源) 从源库中同步若干张数据表至目标库或目标文件中 (鉴于Kettle工具对数据库连接的插件支持不是太好，最好是在源库与目标库类型相同的情况下使用，如：都是Oracle或都是Mysql等，当然不同的数据库也是可以的) 直接点：下载源代码  下载详细设计文档 数据同步方式 暂支持以下两种(即表2表 表2文件)可做配置 1）从源库表中同步...
KETTLE-从ftp上下载csv文件插入到数据库
06-06 1548
使用kettle从另一台服务器上的ftp上下载txt文件到本地 然后将数据插入到数据库中 ftp的目录是动态的 每天都会生成一个时间目录 如20180510 文件就放在这下面 我们文件名是不变的 所以整个kjb的思路就是先获取动态时间作为变量在ftp组件中使用 下载到本地后 清空表（我们是全量导入 所以清空） 然后再导入数据。“q+”: Math.floor((this.getMonth() + 3) / 3), //季度。这是获取ftp路径的ktr 也就是为了获取动态时间的目录。
kettle解析xml_下载ftp文件相关jar包.rar
05-11
kettle解析xml_下载ftp文件相关jar包。
kettle9.0下载链接.txt
01-25
kettle 9.0 spoon9.0下载连接
KETTLE-从ftp上下载txt文件插入到数据库中
热门推荐
weixin_41634885的博客
05-10 1万+
最近公司要使用kettle从另一台服务器上的ftp上下载txt文件到本地 然后将数据插入到数据库中 ftp的目录是动态的 每天都会生成一个时间目录 如20180510 文件就放在这下面 我们文件名是不变的 所以整个kjb的思路就是先获取动态时间作为变量在ftp组件中使用 下载到本地后 清空表（我们是全量导入 所以清空） 然后再导入数据 折腾了半天 特此记录 首先 ...
kettle ftp下载插件，job ftp下载执行结果源码分析
西京刀客
04-15 1726
kettle ftp下载插件执行结果源码分析 问题背景 一个ftp插件下载任务，可能下载很多文件，下载过程中可能有些文件下载成功，有写文件下载失败，这些结果信息，kettle是如何记录的？ 源码分析 分析JobEntryFTP 插件类： JobEntryFTP -> execute() -> downloadFile() private void downloadFile( FTP...
用kettle设计ftp上传操作手册
07-12
Kettle 数据抽取工具FTP 上传操作手册 一、Kettle 背景介绍 Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，可以在 Window、Linux...6. 使用 Kettle 可以上传文件到 FTP 服务器，需要配置 FTP 服务器的连接信息。
kettle同步FTP上的文件
07-27
下面是一个示例代码片段，展示了如何使用Kettle来同步FTP上的文件： ```java import org.apache.commons.net.ftp.FTP; import org.apache.commons.net.ftp.FTPClient; import org.pentaho.di.core.exception....
Kettle数据同步日常使用汇总及整理
06-06 4099
核心一点，最好就是变量的作用范围为当前作业，尤其对于费定时任务，有可能多个作业同时启动的，一定要将变量的作用范围设定在当前作业中，如果设置变量的操作是在一个转换中，然后一个作业进行调用这个转换，那么变量的作用范围就是parent-job，一般不选择整个JVM，具体情况，根据设定变量这个操作的位置不同，决定其作用范围的设置，，就需要在主作业中嵌套一个子作业，子作业中调用一个转换，转换的功能就是通过从子作业的上一步中获取结果信息，然后将信息设置成变量，变量的有效范围parent-job；
【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL
最新发布
05-11
【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL
kettle下载
02-20
KETTLE资源下载，最新版，文档无误，提供文档支持，技术询问
使用kettle上传文件到SFTP案例-附件资源
03-05
使用kettle上传文件到SFTP案例-附件资源
从ftp上下载txt文件插入到数据库中的原文件
11-06
此Demo为KETTLE-从ftp上下载txt文件插入到数据库中的原文件 需要的可下载参考 其中数据库信息需自己填写 包括字段什么的
使用Pentaho Kettle批量下载文件 示例代码
05-14
使用Pentaho kettle 批量下载文件 的示例代码 包含三个文件，按执行顺序依次为：main.kjb、filelist.ktr、download.kjb。 压缩包中有2个版本的源码。 一个源码是从“txt文件”中读入URL路径，下载文件； 一个源码是从“自定义常量”中设定URL路径，下载文件。
Kettle实战 ── SFTP下载
小肥羊的博客
10-24 4399
Kettle 从不同服务器中下载excel文件 新建作业，拉去SFTP下载组件： 2、配置信息 远程目录是下载数据的源目录 通配符用于筛选需要下载的文件 .*\.xls$ 这个通配符就是后缀名为xls的文件全部下载 运行作业 成功后可以在目标目录看到下载的文件。 ...
【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL（已更新）
kngines
05-08 2314
1.一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。 2.熟悉、梳理、总结下FTP服务器相关知识体系。 3.欢迎批评指正，跪谢一键三连！
kettle demo4 从FTP下载文本文件到本地，然后插入到数据库
weixin_33749242的博客
03-26 1453
2019独角兽企业重金招聘Python工程师标准>>> ...
kettle将文件路径定义为_kettle demo4 从FTP下载文本文件到本地，然后插入到数据库...
weixin_33551941的博客
12-23 719
本事例演示从FTP下载文件，然后在插入到数据库，这次FTP配置信息就通过变量来配置了，全局变量一般配置在kettle.properties文件里，下面是FTP的配置信息， 因为FTP下载是一个作业(job)，一些路径信息的设置需要转换，所以咱们需要串联配置转换和作业，大致步骤如下设置远程FTP文件路径变量>下载FTP文件>导入本地文件到数据库1、新建一个转换，设置远程FTP服务器的目录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值