3 用kettle对数据库中的表进行字段拼接

已于 2022-11-14 13:25:18 修改
阅读量2.9k 收藏 15
点赞数 1
分类专栏： ETL 文章标签： 数据库 etl
于 2022-10-31 21:04:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_52469201/article/details/127623202
版权
该博客介绍了使用Kettle工具进行ETL的案例。通过Kettle转换，将数据表personal_a中的surname和name字段拼接后插入到personal_b表。详细说明了建表、连接组件、创建数据库连接、获取SQL查询语句、输入JavaScript代码、选择目标表及添加数据字段等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

案例介绍：
通过Kettle工具的转换来实现将一张数据表中的两个字段进行拼接，然后插入到另一张数据表中。即将数据表personal_a中的字段surname和name进行拼接，然后插入到数据表personal_b。

  1. 在数据库中用查询将所准备好的表建好
    在这里插入图片描述

  2. 第一步现在步骤的输入框中输入组件名字，将所有组件连接起来
    在这里插入图片描述

  3. 第二步双击表输入组件，并点击新建，用以创建数据库连接
    在这里插入图片描述
    数据库是person_a和person_b所在的数据库。

  4. 在表输入的界面中选择获取SQL查询语句，找到所需要输入的数据然后确定就好了。
    在这里插入图片描述

  5. 点开JavaScript代码，输入代码，然后点击下方的获取变量（可以改名也可以不改）
    在这里插入图片描述

  6. 插入更新中在目标表处选择浏览，然后选择建好的空表person_b
    用于查询的字段一般用id（可以选择的）然后点击编辑映射，将想要输入表中的数据字段添加进来
    在这里插入图片描述
    结果：
    在这里插入图片描述

kettl: 数据清洗和转换☞字符串操作[去除空格|字符串填充|转义特殊字符|处理字符串中的数字|移除特殊字符]
weixin_40121264的博客
02-21 1591
点击表输入>>新建>>填写连接的数据库信息>>测试>>确定>>获取sql查询语句>>选择需要进行字符串操作的表>>确定>>选择是(在sql里面包含字段)>>对比上面2张图可以发现: 非字符串类型的字段不会出现在字符串操作页面的输入流字段里>>对所有输入流字段去除两边空格。点击表输入, 按住shift连接表输入到表输出>>对表输出进行数据库连接(参照表输入的连接设置)浏览>>选择转换后导入的目标表>>勾选指定数据库字段>>数据库字段>>获取字段。将多个字段合并成一个字段，通常用于将多个列的数据合并成一个列。
kettle从入门到精通 第七十九课 ETL之kettle kettle读取数据库BLOB字段转换为文件
zhangjin1222的博客
07-20 915
表输入步骤从表中读取blob字段，java代码定义二进制流转换为文件的全路径，文本文件输出步骤根据全路径和二进制流输出文件。5、格式和压缩按照下图进行设置，是否勾选头部选项，要看zip压缩包压缩的时候是否有头部信息。4、文本文件输出设置，这里的文件名字段选择javascript步骤中设置的target_file_path字段。上一课我们讲解了如何将文件以二进制流的方式写入数据库，本节课我们一起学习下如何将二进制数据读取为文件。6、字段设置，选择file_content字段，类型一定要选择Binary。
KETTLE实现循环批量多表抽取添加字段
03-11
KETTLE实现循环批量更新表添加字段,将kettle资源库抽取到另一个数据库中并输出抽取表单,(本文用的是MySQL)
【ETL工具】Kettle 解析HDFS文件进行字段拼接、字符的替换和IP校验
康师傅没有眼泪
06-21 1326
字段的拼接使用 JS 脚本实现，JS脚本在 Kettle 中使用起来很是方便，目前我使用 JS 实现过 IP 校验、字段拼接、文件移动。过滤记录的使用说明，过滤记录 组件的使用在 业务分离是很好用的，尤其是对正则匹配、字段的过滤。此处我是简单的使用，数据清洗不是很复杂没有使用到正则表达式。HDFS 文件获取后，选择 JS脚本组件，在。中可以看到接收到的字段。组件过滤掉不合法的IP。
kettle把两个数据流字段合并
hzp666的博客
01-26 5086
有个场景，比如说一个数据流A中有个flag字段，另一个数据流B中有id,name等字段， 要实现把 数据流B 中的字段后边增加一个 数据流A的flag字段。 实现办法，使用 记录集连接 控件： 总览： 1.记录集连接 控件，前一步要放置一个 排序控件，排序字段随意选。 2.主要操作设置下 记录集连接 控件： ps:追加流 控件 追加流 控件相当于 SQL中的 union 操作，要求两个数据流中字段数量 、位置、数据类型保持一致才行。 ...
kettle 实现字段合并插入到另一个数据表
热门推荐
bird_tp的博客
11-05 1万+
为方便演示，我们在数据库A和数据库B中分别创建表userA和表userB。最终目标为将数据表userA中的字段“surname”和“name”合并后的数据插入到数据表userB中。 use TestA create table userA(     id int primary key,     surname varchar(10),     name varchar(50),     age...
kettle之 Concat fields将字符串拼接起来
信徒博客
05-27 846
用到两个组件，一个是文本文件输入，一个是 Concat fields。将文本内容分成两部分，第一部分是a，第二部分是b。这里的Fields是上一个步骤里面的输出的字段名称。TargetField Name是输出的字段名称；
kettle从入门到精通 第八十课 ETL之kettle kettle中的json对象字段写入postgresql中的json字段
zhangjin1222的博客
07-26 352
场景：源数据库表为mysql的其中有json字段，通过kettle 查询出来 插入到目标数据库 postgresql中，对应的表中也有json字段。但是报错，提示kettle查询出来是varchar的的字段，无法插入到目标数据库中。本人在DBeaver中直接执行INSERT INTO public.t3 (name) VALUES ('{"name":"java小金刚"}');是可以正常插入到json字段的，猜测DBeaver应该有进行转换处理。5、根据gpt建议进行测试，动态构造sql语句&动态执行。
使用kettle采集并处理mysql数据库中的数据
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-07 1753
本实验任务主要完成基于ubuntu环境的使用kettle采集并处理mysql数据库中的数据的工作。通过完成本实验任务，要求学生熟练掌握使用kettle采集并处理mysql数据库中的数据的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握使用kettle采集并处理mysql数据库中的数据Ubuntu16.04、Java1.8、Kettle7.1Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后
kettle从入门到精通 第八十一课 ETL之kettle kettle中的json对象字段写入postgresql中的json字段正确姿势
zhangjin1222的博客
07-26 603
1、上一节可讲解了如何将json数据写入pg数据库表中的json字段，虽然实现了效果，但若客户继续使用表输出步骤则仍然无法解决问题。正确的的解决方式是设置数据库连接参数当设置为时，pg JDBC 驱动将根据数据库列的实际数据类型来决定如何处理字符串数据。这意味着，驱动不会强制将所有字符串数据统一为某种特定的 Java 字符串类型。这通常意味着 JDBC 驱动会尽可能准确地反映数据库中的字符串数据类型。在一些情况下，这可以避免不必要的数据转换，或者使得数据类型映射更符合数据库的实际设计。
kettle常见控件（输入、输出，字段选择、设置变量、记录集连接、值映射、字符串替换、js、Java）的使用案例
07-18
- **文本文件输出**：在处理文本数据时，可以使用“字符串替换”步骤对字段内容进行替换，以满足输出格式要求。 8. JavaScript 和 Java 脚本： - **JavaScript步骤**：允许用户编写自定义的JavaScript代码进行...
kettle资源库各个表和字段的介绍
07-05
kettle可连接资源库，同时生成存储转换和作业的等一系列信息的表，本文档就是对这一系列表的解释说明，有助于大家理解kettle资源库的概念和作用
kettle合并记录处理同表数据更新等操作
12-06
kettle合并记录处理同表数据更新等操作.doc
Kettle concat fields拼接数据
程志伟的博客
07-12 9145
关注微信公共号：小程在线 关注优快云博客：程志伟的博客 只对核心部分进行详细描述 一、总体流程 二、Excel输入 Excel的输入流程和前面将的类似，可以查看前面文章。 三、Concat fields 1.在Target Field Name处：填写我们要新建的字段名称，自己随意起 2.在Separator处：填写字段之间的拼接符号 3.在name、type处，选择我们要拼接的字段以及字段类型。 4.全部配置好之后点击确定。 四、Excel...
kettle:字段的拆分、合并、值映射
weixin_44727274的博客
01-25 1万+
【实验目的】 1.利用Kettle的“拆分字段”，“字段选择”，“值映射”“JavaScript代码”组件，实现字段的拆分、合并、值映射。 2.熟练掌握“拆分字段”，“字段选择”，“值映射”“JavaScript代码”等组件的使用，实现字段的拆分、合并、值映射。 【实验原理】 利用“拆分字段”将表格的<课程大类>字段拆分为<课程大类>和<课程大类>两个字段； 利用“值映射”将表格的<讲师>为xx的替换为另外一个XXX； 利用“JavaScript代码”通过编程
kettle 字段合并，数据合并,字段值更新
互联网金融爱好者
06-03 9598
环境：Spoon.bat 4.1.1   文本输入后，批量处理字段：     脚本-->Modified Java Script Value      java script:   Field2.setValue(c+Field2)
kettle开发篇-合并记录-Day26
qq_29061315的博客
12-24 4458
前言： 昨天我们讲了数据库相关操作，流查询，通过流查询我们进行等值查询，从而实现类似数据库内连接的效果，今天我们来讲一个类似的组件，叫合并记录，合并记录顾名思义就是将数据进行合并，具体来讲就是将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。 一、合并记录 今天我们讲的连接是转换里面的第八个分类。连接是结果集通过关键字进行连...
kettle多数据合并
m0_63747104的博客
11-23 4506
kettle多数据合并
kettle从入门到精通 第四十三课 kettle 多对1表合并同步
zhangjin1222的博客
02-20 1565
2、下图通过sql 语句的join 进行关联，表输入【读取student&teacher】步骤读取join之后的数据集，表输出【写入student_third】步骤将数据写入表student_third。a、表输入【读取student】步骤读取student数据，然后通过排序步骤【student排序】升序排序，当然这里的排序步骤也可以省略通过表输入中的sql的order by 方式实现。d、表输出【写入student_third】步骤将数据写入表student_third。
在使用Kettle进行数据迁移时，如何预防和解决不同数据库间编码不一致导致的数据乱码问题？
最新发布
11-03
编码不一致是数据迁移中常见的问题，尤其是在源数据库和目标数据库使用不同的字符集时。为了预防和解决数据乱码问题，我们可以采取以下措施：（1）明确源数据库和目标数据库的字符集。在进行数据迁移之前，首先需要了解两个数据库的编码设置，这通常是UTF-8、GBK、GB18030等。（2）在Kettle的转换设置中调整编码参数。在进行数据迁移时，可以在Kettle的数据库连接配置中设置字符集参数，确保Kettle在读取和写入数据时使用正确的编码。（3）使用参数化查询，确保数据转换正确。在使用SQL语句进行数据操作时，应当使用参数化查询来避免直接在查询字符串中拼接变量，这样可以有效避免因编码问题导致的乱码。（4）在迁移前后进行数据校验。数据迁移后，进行数据校验是必不可少的步骤，包括校验数据的完整性、正确性以及是否出现乱码等。（5）查阅《Kettle处理数据异常及解决方案》这本书，它详细介绍了Kettle在数据处理中遇到的各种异常情况，包括编码不一致问题，提供了理论知识和实用的解决方案。通过上述措施，可以最大程度地预防和解决在使用Kettle进行数据迁移时遇到的编码不一致导致的数据乱码问题。如果想进一步了解如何处理字段类型不匹配、编码转换等更复杂的数据迁移问题，建议深入学习《Kettle处理数据异常及解决方案》这本书，它能够提供全面的技术支持和帮助。 参考资源链接：[Kettle处理数据异常及解决方案](https://wenku.youkuaiyun.com/doc/19ceyeuj33?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值