kettle PDI学习笔记(二):kettle快速上手

开源ETL工具Kettle(PDI)开发(一)认识Kettle及源码部署 一、ELT是什么? 二、认识Kettle 三、Kettle源码下载及部署 阅读详情

kettle快速上手

读取csv文件,写入到xls文件,这么个操作,读取的过程叫抽取(或者理解为输入),写入的过程叫加载(或者理解为输出)
我这里找了一个cvs文件,改了一下凑活用
csv文件

回到软件,新建一个转换并保存
新建
点到核心对象,把csv文件输入拖到工作台
在这里插入图片描述
双击打开工作台的那个控件,选择准备好的csv文件,可以根据红框框点一点看一看效果,差不多了就确定。
在这里插入图片描述
在输出里找到Excel输出并拖过去,在工作台点下“csv文件输入”按下shift,再点到“Excel输出”,选择“主输出步骤”完成连接。
在这里插入图片描述
双击Excel输出,浏览,选择保存的位置和文件名,确定。
其余的地方不用改,无聊的不行就点字段,获取一下字段。
在这里插入图片描述
在这里插入图片描述
确定,启动
在这里插入图片描述
这里可以把这些按钮都点一点,看看都是干啥使得
完成
在这里插入图片描述

PDI(KETTLE)学习笔记 PDI(KETTLE)学习笔记简介主要文件组件树介绍转换作业组件生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 一款ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)工具... 阅读详情

相关推荐

关于M1 Mac 安装部署PDI(kettle)的方法步骤及问题解决

关于在M1 Mac 上安装部署PDI(kettle) 前言 截止我编写这篇笔记之时,Kettle并没有原生支持M1,所以本文大致思路是使用Rosetta转译运行,无需借助任何虚拟机。在此特别感谢董老师的帮助~ 安装步骤 配置Rosetta Terminal(强制在Intel模式下运行shell) 参考 https://cutecoder.org/software/run-command-line-apple-silicon/ 打开Terminal终端的 偏好设置 → 描述文件 从左侧

ColeMEI的博客 1万+

ETL之kettle使用总结:(批量、含常量)csv入库

本文实验的ktr文件:ktr文件 1.概述 18年开工第一天,做下Kettle的使用总结。 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。 关于kettle的下载及安装这里不赘述,此处仅介绍工作过程中最常见的三种使用场景: 单个csv文件入库; 增加一个常量字段的csv文件入库; 批量csv文件入库。 ...

Liu_Arvin的芝士小栈 2万+

还不会使用大数据ETL工具Kettle,你就真的out了!

Kettle 必知必会!

大数据梦想家 1万+

ETL之PDI/Kettle9.x/8.x案例培训实战从入门到应用案例

学完本课程,您将掌握:PDI/Kettle数仓技术PDI/Kettle开源免费的ETL推送工具PDI/Kettle数据清洗PDI/Kettle数据抽取PDI/Kettle数据挖掘PDI/Kettle案例实战PDI/Kettle技巧PDI/Kettle9.1版本PDI/Kettle通用PDI/Kettle水壶技术适合人群:需要数据清洗和操作的IT信息化相关人员,IT相关从业人员,大数据工程师,数据库工程师及DBA,数据仓库ETL学习计划:利用碎片化的时间学习即可,每天学习一小时或3个课时即可达到效果;时间充足者,自由安排课程目标:促使教育公平,打破教育壁垒,让ETL更加的大众化使用 课程简介:【可视化介绍】       Kettle 是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration,Kettle 本意是水壶的意思,表达了数据流的含义。Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。【软件版本】     企业用的最多的Kettle9.x/8.x/7.x,本教程以最新Kettle 9.x进行教学【授课方式】    番茄教学法:以知识点为基准,进行独立课时讲解,课时之间低耦合,方便同学利用碎片化时间学习 

Kettle(PDI)安装及入门教程

Kettle,全称为Pentaho Data Integration(PDI),是一款开源的ETL工具。它能够轻松地从各种数据源抽取、转换和加载数据,帮助用户高效处理复杂的数据集成任务。启动Kettle后,进入主界面。工具栏:包含了常用功能,如新建转换、作业、保存、运行等。资源库:用来管理项目中的各种资源,如转换、作业等。设计面板:设计数据转换逻辑的主要区域。日志面板:显示运行过程中产生的日志信息。Kettle作为一款功能强大的ETL工具,能够帮助我们轻松完成复杂的数据集成任务。

m0_70691645的博客 2131

使用 Kettle (PDI) 连接 SQL Server 数据库

❌ 驱动未找到 → 确认 JAR 在 lib 目录且重启 Kettle,根据提示放入jtds驱动或mssql驱动。添加参数:integratedSecurity=true(需 sqljdbc_auth.dll)🔑 认证失败 → 验证用户名/密码,检查 SQL Server 身份验证模式(混合模式)🛠 端口冲突 → 确认 SQL Server 实例监听 1433 端口(或自定义端口)🔗 连接超时 → 检查防火墙/网络,确认 SQL Server 允许远程连接。点击 测试 按钮,确认提示 “成功连接到数据

qq_44724453的博客 1861

大数据技术之 Kettle(PDI)

Extract-Transform-Load(ETL)是一种常见的数据集成过程,用于从一个或多个数据源中提取数据,对数据进行转换和清洗,然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤:提取(Extract):从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段,需要确定要提取的数据范围和数据格式。转换(Transform):对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。

qq_48721706的博客 1万+

Kettle(PDI)的坑,有点大

网络上有不少Kettle的文章,但实际上都大同小异,都是些非常基础的文章,实际上在使用过程中还有遇到不少的坑,这部分在网上资料比较少,这里主要讲一下我们在使用过程中遇到的各种问题,属于难得的实践经验。 说起ETL工具,很多人都觉得这个东西简单,不用学Mysql,不用学大数据的编程,简单的通过图形化的拖拉拽,就能实现对数据的抽取、转换、加载,而实际上往往并非如此,在复杂一点的应用场景上,往往就会出现一些意想不到的坑。 低代码化、无码化的系统架构,现在比较流行。Kettle作为一个大数据的ETL..

sunlen的专栏(编程技术探讨) 3623

kettle(Pentaho Data Integration)-ETL及PDI概念介绍

什么是ETL 抽取(Extract): ⼀般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据。这⼀部 分看上去简单⽽琐碎,实际上它是 ETL 解决⽅案的成功实施的⼀个主要障碍。 转换(Transform): 任何对数据的处理过程都是转换。这些处理过程通常包括(但不限于)下⾯ ⼀些操作: 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派⽣值...

weixin_43398232的博客 5149

PDI构建开源ETL解决方案:Pentaho Kettle使用与入门

本文还有配套的精品资源,点击获取 简介:Pentaho Data Integration (PDI),又名Kettle,是一款开源的ETL工具,用于构建企业级数据提取、转换和加载(ETL)解决方案。PDI以Java编写,支持跨平台操作,通过直观的图形界面,非程序员也能进行复杂的数据集成工作。本文档涵盖了PDI的架构、数据抽取、转换、加载、工作流设计、调度与监控等关键知识点,...

weixin_30336531的博客 2456

西门子机床数据采集实战:从828D到840DSL的CNC设备联网与实时监控

本文深入探讨了西门子机床数据采集的实战方案,重点解析了从828D到840DSL等CNC设备如何实现免授权、低成本联网与实时监控。文章通过对比不同型号系统的数据接口差异,提供了详细的配置步骤、核心数据点清单以及避坑指南,旨在帮助工厂技术人员经济高效地挖掘机床数据价值,提升生产管理效率。

weixin_29181861的博客 1332

kettle版本比较、PDI版本比较

kettle版本比较 PDI的版本比较 kettle7.0新增功能 kettle6.0新增功能 kettle5.0新增功能 kettle版本如何选择

千生百世,缘起缘灭,皆已注定。 1万+

UE5新手必看:3种UI定位方法实战(含蓝图配置截图)

本文为UE5新手详细解析了三种核心UI定位方法:屏幕空间、场景空间和世界空间。通过实战蓝图配置与控件操作,指导开发者如何根据HUD、角色血条、3D物体标记等不同应用场景,正确选择并配置UI的定位方式,以实现清晰的信息传递与沉浸式体验。

weixin_29018815的博客 473

kettle(PDI)简介

最近项目需要,开始接触kettle。 Kettle 的主作者是 Matt ,他在 2003 年就开始了这个项目,在 PDI 的代码里就可以看到最早的日期大概在2003年4月。 从版本2.2开始, Kettle 项目进入了开源领域,并遵守 LGPL 协议。 在 2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为PDI, 加入Pentaho 后Kettle 的发展越来

小鱼的专栏 5073

最小二乘法(看完即会)

其中,X是数据矩阵,每一行是一个数据点,每一列是一个自变量(包括截距项),Y是观测值向量,β是待求的系数向量。为了找到使S最小的a和b的值,我们需要对S求关于a和b的偏导数,并令它们等于零。最小二乘法的数学公式通常用于线性回归问题,其中目标是找到一条直线(或更高维度的超平面),使得这条直线与给定数据点的误差平方和最小。同样地,通过求偏导数和令偏导数等于零,我们可以得到一个线性方程组,解这个方程组可以找到最优的b_0, b_1, …+ b_m*x_m,其中b_0是截距,b_1到b_m是各个自变量的系数。

qlkaicx的博客 2万+

量化交易 米筐 多因子合成(回测中使用)

多因子合成 1、因子合成 将一些相关(高、低)的因子合成一个因子 方法: 使用PCA方式(使用于较强相关性) 2、核心代码 将因子 inc_revenue_ttm 和 operating_revenue_growth_ratio_ttm 合成为一个因子 inc_operating from sklearn.decomposition import PCA pca = PCA(n_components=1) # 因子合并 fund['inc_operating'] = pca.fit_transform(fu

廷益_飞鸟的博客 1062

kettle PDI学习笔记(一):kettle的介绍,下载,目录结构,部署

目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌,我也是刚听说这个词,一脑袋懵 一、ETL 什么是ETL?ETL是三个英文单词的缩写,即数据抽取、转换、装载的过程。对于企业或者行业应用来说,经常会遇到各种数据的处理,转换,迁移,所以掌握一种ETL工具的使用是必须的,Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具,纯Java编写的,绿色无需安装,数据抽取高效稳定。 2.Kettle中文:水壶,作者希望把各种数据放到一

梦回乌托邦 968

Docker Desktop 从 C 盘迁移到 D 盘的正确方法

本文介绍了三种将Docker数据目录从C盘迁移到D盘的方案。方案1针对WSL2用户,通过导出/导入虚拟磁盘实现迁移;方案2采用软链接方式,适合所有Docker模式;方案3则建议重装Docker到D盘。其中WSL2迁移方案(方案1)最为稳定可靠,推荐使用。文章详细说明了各方案的操作步骤及注意事项,并提供了迁移后常见问题的解决方法,帮助用户彻底解决Docker占用C盘空间的问题。

sg_knight的专栏 2178

kettle(PDI)安装使用过程,并部署到Linux下执行定时作业

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、kettle是什么?二、使用步骤1.下载kettle及MySQL依赖2.解压缩下载的pdi压缩包3.创建一个简单的转换4.Linux安装kettle总结 前言 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我要学习的ETL工具是Kettle! 本文

路的博客 5740

微信小程序 - 接入腾讯地图 SDK 及详细使用教程,结合小程序 mpa 地图组件展示腾讯地图(基础使用 / 授权当前位置 / 配合小程序map组件的使用 / 腾讯地图逆地址解析 / 坐标系的转化)

微信小程序使用腾讯地图完整流程,微信小程序 接入腾讯地图,如何在微信小程序中接入腾讯地图,微信小程序引入腾讯地图API方法,腾讯地图小程序SDK,微信小程序实现使用腾讯地图SDK步骤详细介绍,微信小程序接入腾讯地图(线路规划、逆解析)、高德地图,微信小程序之使用腾讯地图,微信小程序 接入第三方地图,小程序服务器配置地图,微信小程序接入腾讯地图,微信小程序插入腾讯地图教程,微信小程序如何调用腾讯地图,如何在微信小程序中接入腾讯地图,微信小程序腾讯地图SDK使用方法,在微信小程序上创建一个简单的腾讯地图,微信小

✅ 精选推荐文章 1万+

STM32入门教程:智能储物柜控制

在这个例子中,我们将使用一个4x4的储物柜,共有16个储物格。我们了解了硬件准备、储物柜电路设计、STM32的基本配置、储物柜控制代码的编写以及测试和调试等方面的知识。根据我们的电路设计,我们需要将一些引脚配置为输出,并将其他引脚配置为输入。在本教程中,我们将使用STM32微控制器来实现一个基本的智能储物柜控制系统。在主函数中,我们将不断循环读取传感器数据,并根据数据的变化来控制储物柜的开关和显示相关信息。这个函数将读取人体感应传感器、温湿度传感器和光照传感器的数据,并将数据存储到相应的变量中。

m0_75244442的博客 662

Macbook M1 安装PDI(Kettle) 9.3

本文介绍了M1版的Macbook安装 PDI 9.3 + OpenJDK11的一般步骤,以及如何通过强制在Intel模式下运行shell的方式来启动kettle。

TechRunner 2868

【unity实战】使用unity的Navigation+LineRenderer实现一个3D人物寻路提前指示预测移动轨迹的效果,并可以适配不同的地形

本文介绍了在Unity中使用Navigation导航系统和LineRenderer实现3D人物寻路轨迹预测效果的方法。通过NavMesh.CalculatePath计算路径点,结合Physics.Raycast进行地面点投射,将路径点赋予LineRenderer渲染出移动轨迹。关键点包括:1)利用NavMesh.CalculatePath计算两点间可行走路径;2)通过射线检测获取地面点提高路径适配性;3)使用协程定期更新路径绘制。文章还提供了完整代码实现,并说明需要将地面图层设置为Ground并进行导航网格

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 459

PDI(Kettle) 是什么?PDI(Kettle) 都能做什么?

PDI(Kettle) 是什么?PDI(Kettle) 都能做什么?PDI(Kettle) 是什么?PDI(Kettle) 是一款开源的、元数据驱动的 ETL (数据的抽取、转换、加载)工具,是开源 ETL 工具里功能比较强大的一个。   PDI 的全称是Pentaho Data Integeration,Kettle 是 PDI 以前的名称,Kettle 本意是水

oracel数据库、数据仓库、JAVA开发的专栏 8402

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Kettle PDI Linux安装运行

目录资源库乱码问题Linux安装 资源库乱码问题 官方回答:kettle连接数据库资源池时中文乱码 Linux安装 直接把zip ftp上传到centos7 解压 unzip pdi-....... 把要用的驱动放进去 把 .kettle也放进去

梦回乌托邦 433

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

01-PDI(Kettle)简介与安装

本文主要为PDI(Kettle)简介与安装,包括 PDI(Kettle)简介, Kettle下载与安装 ,Kettle核心知识点等。

IT从业者的成长历程 2445

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

上一篇: kettle PDI学习笔记(一):kettle的介绍,下载,目录结构,部署
下一篇: kettle PDI学习笔记(三):输入
献 丑
博客等级 码龄8年 10粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值