kettle6.1从http接口读取数据并解析json以及xml

最新推荐文章于 2025-05-17 16:16:32 发布
原创 最新推荐文章于 2025-05-17 16:16:32 发布 · 1.1w 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kettle6.1

业务需求

1、从数据库中读取表内容作为入参；
2、根据入参读取http接口并获取返回数据；
3、解析返回的json并提取其中的xml字段；
4、解析该xml字段；
5、入库。

使用组件

表输入用于读取数据库内容、rest client用于发送http请求并接受返回数据、json input用于接收返回数据并解析、Get data from XML用于解析XML
表输入
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据结构

入参为姓名、身份证号，直接数据库中读取并拼接
入参
获取到入参后，即可设置rest请求

最低0.47元/天 解锁文章
kettle—http请求
03-23 4万+
定义的数据常量就是我们做http 请求的时候需要的一些参数，例如这里就是我们请求的地址和请求的关键词，正常情况下这些参数应该是从我们的数据中来，也就是表中例如表输入组件，但是这里为了方便我们直接使用常量定义组件。接下来我们还有定义一下请求的参数字段，其实看到这里我们是完全可以将请求的参数字段和url 定义在一起，或者是通过转换组合在一起的，但是这里为了演示的完整性，我们还是去定义一下请求的参数。字段，命名参数就是我们发起请求的时候的参数名称，也就是说我们把。下面是我们一个常见的发起GET 请求的模式。
kettle抽取http请求，发送json参数.docx
04-01
kettle抽取http请求，发送json参数示例
【Kettle】 kettle | spoon | http请求 | 解析json | 结果入库
hgSuper的博客
08-03 3968
kettle | spoon | 获取http数据 | json处理 | 保存入库
有了这个网络安全面试题，面试就像开了挂！（附PDF）
lvaolan的博客
02-26 2304
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！​​​​内容实在太多，不一一截图了。
KETTLE读取RFC接口
10-26
KETTLE读取RFC接口，通过此接口可以解析读取的数据后插入到自己数据库
KETTLE 请求HTTPS接口
谢正进的博客
01-24 8440
KETTLE本身提供了HTTP client、HTTP post、REST client组件可以访问HTTP接口，这些组件在访问HTTPS接口时有时会报错：unable to find valid certification path to requested target，错误原因是因为KETTLE在请求HTTPS接口时，需要为请求处理的域提供证书，下面将展示如何处理该问题。 获取证书 证书可以通过在浏览器访问HTTPS接口的方式获取，具体操作如下： 添加证书到JRE 以管理员身...
最新大数据ETL开发之图解Kettle工具（入门到精通）
2401_84160087的博客
05-04 455
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
大数据领域数据采集的必备工具推荐
最新发布
AI天才研究院
05-17 2439
随着企业数字化转型加速，数据采集作为数据资产化的起点，其重要性日益凸显。本文聚焦结构化数据（数据库）、半结构化数据（XML/JSON）、非结构化数据（网页/日志）三大数据源，覆盖批量采集、实时流采集、API接口采集、网络爬虫四大核心场景，系统评测20+主流工具的技术特性，提供从工具选型到落地实践的全流程指南。1. 背景介绍（核心概念定义）2. 数据采集技术体系（架构图+核心原理）3. 企业级ETL工具（批量处理/数据流管理）4. 网络爬虫工具（结构化/非结构化数据抓取）
大数据最全大数据ETL开发之图解Kettle工具（入门到精通）(4)
2401_84181975的博客
05-04 359
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
大数据最全大数据ETL开发之图解Kettle工具（入门到精通）(3)
2401_84181975的博客
05-04 412
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
kettle 解析xml xml文档，配合kettle 解析xml stax方法，完整解析案例使用
04-09
与上一个版本一起使用可以可以起到提高效率的目的。本人解析xml的真实文档
ETL KETTLE 中利用Httpclient 调用webservice接口获取XML数据，并解析XML 数据
03-05
ETL KETTLE 中利用Httpclient 调用webservice接口获取XML数据，并解析XML 数据。 完整的KTR实例
KETTLE调用接口数据（HTTP，API接口，包含list集合）
热门推荐
m0_46521990的博客
05-12 1万+
先看流程在调用接口之前首先先需要知道一些必要的参数 url：就是接口地址 body：相当于sql语句中的where条件（select * from dual where body=） 再不明白请看图，其中百度就相当于body token：就相当于打开接口的钥匙，URL就是门，想进门你就得有钥匙，请看具体解释 关于这个token看具体情况，有的接口需要token，有的接口不需要，我展示的这个接口需要token但是他会一直在变，苦苦找寻办法没有解决，最后让做ESB的同事给我代理出来了 page：从第几页开
kettle 发送Http请求
亮大大的博客
05-18 1137
1、输入组件--必须有输入类型的组件，否则无法发起请求。2、http Post组件，设置地址，获取参数。3、json组件处理响应数据。
kettle用Rest Client发送http请求
qq_35989920的博客
04-23 2293
kettle用Rest Client发送http请求
kettle从入门到精通 第五十八课 ETL之kettle HTTP post使用教程
zhangjin1222的博客
05-10 3385
选择“发布文件”并在“主体参数”下指定字段，但没有为“请求实体字段”（文件名的位置）选择值，将会静默失败。如果你在“常规”标签中填写了 URL 和其他必要的细节，你可以使用“获取值”按钮来预填充这里的字段。9）Connection close wait time：定义连接关闭后的等待时间（单位为毫秒），默认值为-1，表示使用操作系统的默认等待时间（通常为2分钟）。如果你在“常规”标签中填写了 URL 和其他必要的细节，你可以使用“获取值”按钮来预填充这里的字段。：如果选中，则必须指定从哪个字段检索URL。
kettle之http服务查询（获取token再请求接口）
zhulijunyou的博客
12-14 3255
kettle 可以从数据库直接读取数据，然后进行转换处理，也可以直接读取http服务接口获取数据进行转换处理，本次简单介绍一下kettle如何调用http接口，先获取token，然后再携带token进行接口调用。分别配置好相应的接口请求url，登录url，用户名，密码 等参数。所以对应的token路径就是 $.data.token。3.从json中解析出token。5.最终接口相应结果打印到文本。token所在JSON格式。1.配置url和请求参数。4.配置最终接口的组件。
kettle从入门到精通 第八十六课 ETL之kettle kettle调用https接口忽略SSL校验
zhangjin1222的博客
09-23 1588
1、在使用kettle调用接口的时候不可避免要调用http或者https接口，调用http接口kettle可以正常工作，但是遇到https接口的时候kettle就会提示证书有误，无法正常调用接口，今天咱们一起通过自研插件的方式来解决这个问题。自研插件需要有一定的java基础，git上有比较多的例子，本次不讲解如何开发组件，这里介绍下如何使用自研http/htts插件的使用。resultField：结果字段名称，这里设置为result，后续步骤可以通过result字段拿到接口返回的数据。
kettle从入门到精通 第七十三课 ETL之kettle kettle调用http分页接口教程
zhangjin1222的博客
06-22 2349
1） 这一步很重要，将单条数据变成list，如上一步的totalNum为3，这里会输出[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]会循环上一步的结果[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]2）这里的模拟http请求使用的是写日志步骤，具体场景中使用的是http post步骤。4）、循环页码list，单条数据请求http接口。
基于Kettle的HTTP接口数据获取与JSON解析实战
本文围绕“Kettle接口数据获取[项目源码]”这一主题，深入探讨了如何利用Kettle通过HTTP接口获取远程数据，并对返回的JSON格式数据进行解析与处理，最终将清洗后的结构化数据写入目标数据库表中。整个流程涵盖了从...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值