qq_44509920的博客

文章目录Linux 安装kettlePan——转换执行引擎Kitchen——作业执行引擎Linux 安装kettle1上传并解压unzip pdi-ce-8.2.0.0-342.zip2、在命令行执行./pan.sh -version./kitchen.sh -version#/export/servers/data-integration中pan.sh 执行转换的任务，ki...

文章目录Job（作业）Job Item（作业项）Job Hop（作业跳）参数参数的使用表输入参数传递 - 转换命名参数Job（作业）大多数ETL项目都需要完成各种各样的操作，例如：如何传送文件验证数据库表是否存在，等等而这些操作都是按照一定顺序完成，Kettle中的作业可以串行执行转换来处理这些操作。Job Item（作业项）作业项是作业的基本构成部分。如同转换的组件，作业项也可...

文章目录Kettle Javascript脚本组件Test21 JS脚本编写代码过程Kettle Javascript脚本组件Kettle中可以通过脚本完成一些复杂的操作javascript脚本就是使用javascript语言通过代码编程来完成对数据流的操作JS中有很多内置函数，可以在编写JS代码时查看存在两种不同的模式不兼容模式和兼容模式不兼容模式：是默认的，也是推荐的兼容模...

文章目录Kettle流程控件Test17 switchTest18 过滤Kettele连接控件test19 连接控件-笛卡尔积test20 记录集连接Kettle流程控件流程主要用来控制数据流程和数据流向switch/case组件让数据流从一路到多路。Test17 switch实现步骤：1、拖入 JSON输入组件，switch/case组件，三个Excel输出组件...

文章目录Test14 值映射json-excelTest15 增加列json-excelTest16选择西段json-excel转换是ETL的T，T就是Transform清洗、转换ETL三个部分中，T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3Test14 值映射json-excel实现步骤：1、拖入一个 JSON输入组件、一个值映射转换组件、一个Exc...

文章目录启动hive服务初始化数据kettle与Hive整合Test11 [hive- –excel]Test12 [excel-hive]Test13 SQL脚本（Hive）启动hive服务#启动 hiveserver2hive --service hiveserver2 &#启动 metastorehive --service metastore &初...

文章目录Kettle整合大数据平台Kettle整合Hadoopkettle与hahoop环境整合Hadoop file input组件Hadoop file output组件Kettle整合大数据平台Kettle整合Hadoop1、查看hadoop的文件系统通过浏览器访问 http://node1:50070通过终端访问hadoop fs -ls / # 查看文件2、在hado...

文章目录Test1 [csv-excel]Test2 [json-excel]Test3 [mysql -excel]Test4 [生成数据-excel]Test5 [mysql –文本]Test6 [json –文本]Test7 [json –mysql]Test8 [mysql 删除数据]Test1 [csv-excel]安住Shift键就可以关联csv文件输入Exc...

文章目录Kettle安装Kettle入门案例Kettle数据流结构图Kettle安装环境要求：安装、配置好JDK1、下载Kettle2、解压Kettle3、双击spoon.bat 启动spoonKettle入门案例需求：把数据从CSV文件（ketttle测试数据\用户数据源\user.csv）抽取到Excel文件数据源：idnameagegender...