Pentaho PDI对于错误信息的处理

最新推荐文章于 2024-06-04 10:15:00 发布
原创 最新推荐文章于 2024-06-04 10:15:00 发布 · 863 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍使用PDI处理大量CSV文件导入时遇到错误的具体解决办法。通过调整loglevel、设置错误处理步骤以及利用Excel输出错误信息，可以有效定位问题所在。

导入一批数据时提示错误，提示有一个序列号的数据有问题，可用信息包含一个产品序列号和对应的时间戳，可是我导入的是csv文件，有几百个，根本不知道这个产品包含在那个csv文档中。查找后，PDI对于错误日志的处理可以用如下方式：


1. 打开log level，让log的输出内容更丰富


2. 鼠标右键点选对应步骤，选择Error Handling



3. 加一步excel输出，连接有问题的步骤，连线时选择Error Handling of Step，将错误结果输出到excel表中查看，excel输出比text输出要容易查看





Ubuntu Server 16.04 安装Pentaho PDI 7.1
数据之路
09-06 1876
参考： http://fcorti.com/2016/12/05/installing-pentaho-data-integration-7/ 1. 安装JAVA运行环境 sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer s
EtherCAT笔记--Synchronization同步方式（一）
中华田园巨龙
02-20 1万+
介绍   Ethercat协议有多种同步方式，最常用的有三种：FreeRun，SM同步以及DC同步，下面根据倍福手册加上自己的一点理解介绍一下。 EtherCAT从站结构   要理解同步方式，首先要了解下从站结构，如下图所示。   感兴趣的朋友可以找相关资料详细了解，我们这里只针对其中的过程数据进行分析：在数据链路层，过程数据通过SM2,SM3管理器进行管理（SM2收，SM3发），通过PDI（过程数据接口）将缓冲区的数据传到MCU（应用层），以便于应用层MCU进行下一步处理。   那么简要概括下数据的流向
程序出现问题时的调试方法
一个前端仔的博客简介
07-28 2824
计算机的错误分为两种：语法错误和逻辑错误 语法错误 比如alter拼写错误，写成了alter。   运行结果只显示7，后面的结果没有显示，说明后面的代码没有执行。因为输出7后遇到了语法错误，程序终止执行。 上例也进一步的说明了解释性语言的特点：翻译一条执行一条，遇到错误提前终止执行。 var b = a + 3; alert(b) 运行结果：不显示。通过开发者工具可以看到下
关于error handling的一些理解
BLSpan的博客
09-05 3168
一晃四五个月过去，发现好久没写博客了。一是因为最近这几个月事情比较多，二可能是因为懒了吧（毕竟动脑子的东西，相当耗能量和脑细胞），╮(╯▽╰)╭。不过还是要克服一下，尤其是还在段位比较低，还需要持续成长的过程中。对于程序员来说，错误处理是不可避免的，这次简单谈谈实际编程过程中的Error Handling。最后，以【5】中@大宽宽的回答作为一个总结吧。对于“正确的处理错误”？有两种不同的目标：要编写正确的代码。这里“正确”是指对任何设计上要处理的错误都必须设计处理流程。
C语言error handle全面深入剖析：从原理到实践的全方位指南
极客代码
02-08 2107
在软件开发中，错误处理是确保程序稳定性和健壮性的重要手段。C语言作为一门广泛应用于系统级编程、嵌入式开发等领域的基础编程语言，其对错误处理的支持与实现机制尤为重要。本文将深度剖析C语言中的error handling策略，并结合实例进行详细讲解。
EtherCAT 同步
A person does not really understand something until after teaching it to a computer. Donald.E.Knuth
03-05 714
/////
EtherCAT从站开发要点
专注嵌入式软硬件开发。
07-18 1万+
本文主要简述EtherCAT从站开发关键知识点：COE对象字典、PDO、SDO、状态机、同步模式、关键API接口等。
OpenWISP-ETL:使用 pentaho pdi ce-5.0.1.A 开发的 Extract Transform Load Module
07-04
OpenWISP-ETL 是一个基于 Pentaho Data Integration (PDI) Community Edition 5.0.1.A 开发的数据处理工具，主要用于数据提取、转换和加载（ETL）过程。在IT领域，ETL是数据仓库建设中的核心部分，它负责从各种数据...
精选资源
Kettle（Pentaho Data Integration）教程 pdf
最新发布
11-03
5. 日志窗口：显示运行日志和错误信息。 6. 属性窗口：显示选中步骤或作业项的详细配置信息。 创建第一个转换的步骤： 1. 在Spoon主界面，点击“文件” -> “新建” -> “转换”。 2. 新建一个空白转换，并为其命名...
kettle-9.2.0.4-R pdi-ce-9.2.0.4-591 亲测可用
07-31
Pentaho Data Integration（PDI），又称为Kettle，是一款功能强大、广受好评的企业级开源ETL工具。ETL（Extract, Transform, Load）即数据抽取、转换与加载过程，是数据仓库建设中的重要环节之一。Kettle因其直观的...
《Pentaho Kettle解决方案_使用PDI构建开源ETL解决方案》书中的代码
01-13
PDI，通常被称为Kettle，是Pentaho BI Suite的一部分，是一个强大的开源工具，用于处理各种数据集成任务。通过这本书，读者可以学习到如何有效地利用Kettle来构建高效的数据处理流程。 首先，"635179_downloads.zip...
pdi_ce7.1.0.0-12.zip
07-06
kettle2018版7.1.0.0-12压缩版本，pdi_ce_7.1.0.0-12.zip
WinDVD v5.x注册机
02-16
WinDVD v5.x注册机... WinDVD是一款功能强大的DVD播放器。它组合了多种标准消费型DVD播放器的功能，例如，全面支持VCD 2.0、精确解码、可选用户界面以及视频显示选项。
EtherCAT从站笔记——PDI通信接口
haoguodong999的博客
09-07 5481
当CSR繁忙(CSR_BUSY)位清零时，可读取有效数据，即可以从EtherCATCSR接口数据寄存器(ECAT_CSR_DATA)读取数据。如果要连续读取EtherCAT过程数据RAM，需要通过以下方式发起读周期：首先向EtherCAT过程RAM读地址和长度寄存器(ECAT_PRAM_RD_ADDR_LEN)写入所需传输的起始字节地址和长度(单位为字节)，接着写入EtherCAT过程RAM读命令寄存器(ECAT_PRAM_RD_CMD)以将PRAM读繁忙(PRAM_READ_BUSY)位置1。
pdi启动错误：无法创建Java虚拟机，错误：发生致命异常。程序将退出。
热门推荐
聚焦于深度解析最新的编程语言特性、框架升级、架构设计、开发工具和最佳实践，涵盖Web前端（如Vue3, React, Angular等）、后端开发（如Node.js, Java, Python等）、移动端开发（iOS, Android原生及跨平台开发）
06-04 5万+
配置新的环境变量并修改pdi配置文件。
EtherCAT偏移时间的理解
Terrys0518的专栏
01-12 6420
在使用TwinCAT测试伺服时，有一个参数引起我的重视。 上图为TwinCAT上设置的偏移时间的接口 从站侧观察，在EtherCAT的DC模式下（同步模式），从站先使用PDI中断接收主站发来的数据（帧解析由ESC完成），然后在DC中断（一般sync0中断）处理数据，比如开关一个IO 或者写入指令到设备的控制环等等。这里的PDI和Sync0中断的间隔时间，就是所谓的偏移时间。 上图横轴为时间，纵轴为设备报文的位置 结合主站看（上图），主站定时发送数据帧，从站接收数据帧，距离越远的从站，接收
PDI(kettle) JavaScript组件使用及错误处理
果果的小莴笋
10-11 2968
JavaScript组件简介 **步骤名称：**指定画布上修改的 Java 脚本值步骤的唯一名称 **Transform Scripts：**在此步骤中创建的脚本 **Transform Constants：**预定义的静态常量，用于控制数据行发生的情况。您必须为 trans_Status 变量分配一个常量值。要使用这些常量，必须首先CONTINUE_TRANSFORMATION在脚本的开头设置 trans_Status 变量，以便将变量分配给正在处理的第一行。否则，将忽略对 trans_Status
zabbix_get输出与客户端不同_Kettle（PDI）客户端数据集成视图详解
weixin_39842237的博客
11-30 338
概述PDI客户端(Spoon)的Pentaho数据集成视角使您能够创建两种基本的文件类型：转换用于执行ETL任务。作业用于编排ETL活动，例如定义应该运行哪些顺序转换的流和依赖关系，或者通过检查条件来为执行做准备。PDI使用工作流比喻作为转换数据和其他任务的构建块。工作流是在您创建转换和作业时使用步骤或条目构建的。每一个步骤或条目都由一个跃点连接起来，它将数据流从一项传递到下一项。转换转换是一个称...
Kettle — 安装和部署
永远不会懂
09-11 3万+
前提 Kettle是纯Java编写的ETL开源工具，目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置，Java版本是否是8或者以上。 Kettle安装 1）创建Kettle的目录，并将Kettle的zip包解压到Kettle目录下 2）查看一下sh文件使用都有执行的权限，如果没请加上。 4）执行...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值