Pentaho PDI对于错误信息的处理

最新推荐文章于 2024-02-19 15:06:56 发布
最新推荐文章于 2024-02-19 15:06:56 发布
阅读量831 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Pentaho
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/monkey22/article/details/78115830
本文介绍使用PDI处理大量CSV文件导入时遇到错误的具体解决办法。通过调整loglevel、设置错误处理步骤以及利用Excel输出错误信息，可以有效定位问题所在。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

导入一批数据时提示错误，提示有一个序列号的数据有问题，可用信息包含一个产品序列号和对应的时间戳，可是我导入的是csv文件，有几百个，根本不知道这个产品包含在那个csv文档中。查找后，PDI对于错误日志的处理可以用如下方式：


1. 打开log level，让log的输出内容更丰富


2. 鼠标右键点选对应步骤，选择Error Handling



3. 加一步excel输出，连接有问题的步骤，连线时选择Error Handling of Step，将错误结果输出到excel表中查看，excel输出比text输出要容易查看





程序出现问题时的调试方法
一个前端仔的博客简介
07-28 2804
计算机的错误分为两种：语法错误和逻辑错误 语法错误 比如alter拼写错误，写成了alter。   运行结果只显示7，后面的结果没有显示，说明后面的代码没有执行。因为输出7后遇到了语法错误，程序终止执行。 上例也进一步的说明了解释性语言的特点：翻译一条执行一条，遇到错误提前终止执行。 var b = a + 3; alert(b) 运行结果：不显示。通过开发者工具可以看到下
关于error handling的一些理解
BLSpan的博客
09-05 3011
一晃四五个月过去，发现好久没写博客了。一是因为最近这几个月事情比较多，二可能是因为懒了吧（毕竟动脑子的东西，相当耗能量和脑细胞），╮(╯▽╰)╭。不过还是要克服一下，尤其是还在段位比较低，还需要持续成长的过程中。对于程序员来说，错误处理是不可避免的，这次简单谈谈实际编程过程中的Error Handling。最后，以【5】中@大宽宽的回答作为一个总结吧。对于“正确的处理错误”？有两种不同的目标：要编写正确的代码。这里“正确”是指对任何设计上要处理的错误都必须设计处理流程。
C语言error handle全面深入剖析：从原理到实践的全方位指南
极客代码
02-08 1961
在软件开发中，错误处理是确保程序稳定性和健壮性的重要手段。C语言作为一门广泛应用于系统级编程、嵌入式开发等领域的基础编程语言，其对错误处理的支持与实现机制尤为重要。本文将深度剖析C语言中的error handling策略，并结合实例进行详细讲解。
EtherCAT从站开发要点
专注嵌入式软硬件开发。
07-18 1万+
本文主要简述EtherCAT从站开发关键知识点：COE对象字典、PDO、SDO、状态机、同步模式、关键API接口等。
ET9300-EtherCAT从站协议栈应用指南——第三弹，硬件抽象层预览
最新发布
qq_42039294的博客
02-19 2305
ecat_def.h中定义了一些与硬件相关的宏宏定义描述EL9800_HW针对到手即用的特定硬件PIC24针对到手即用的特定硬件PIC18针对到手即用的特定硬件MCI_HW？？FC1100_HW针对到手即用的特定硬件运行协议栈的控制器是16位的运行协议栈的控制器是32位的对ESC的访问16Bit对齐对ESC的访问32Bit对齐对邮箱的访问16Bit对齐uC对外部存储按照16bit访问，且工作在大端，置此位uC工作在大端，置此位。
OpenWISP-ETL:使用 pentaho pdi ce-5.0.1.A 开发的 Extract Transform Load Module
07-04
OpenWISP-ETL 是一个基于 Pentaho Data Integration (PDI) Community Edition 5.0.1.A 开发的数据处理工具，主要用于数据提取、转换和加载（ETL）过程。在IT领域，ETL是数据仓库建设中的核心部分，它负责从各种数据...
Ubuntu Server 16.04 安装Pentaho PDI 7.1
数据之路
09-06 1861
参考： http://fcorti.com/2016/12/05/installing-pentaho-data-integration-7/ 1. 安装JAVA运行环境 sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer s
《Pentaho Kettle解决方案_使用PDI构建开源ETL解决方案》书中的代码
01-13
PDI，通常被称为Kettle，是Pentaho BI Suite的一部分，是一个强大的开源工具，用于处理各种数据集成任务。通过这本书，读者可以学习到如何有效地利用Kettle来构建高效的数据处理流程。 首先，"635179_downloads.zip...
pentaho-kettle
06-08
Pentaho Kettle，通常被称为Pentaho Data Integration（PDI），是开源企业级数据集成工具，主要用于ETL（Extract, Transform, Load）过程。它由社区驱动，是Pentaho BI Suite的重要组成部分，用于处理数据整合任务，...
pdi-ce-7.0.0.0-25.7z
03-12
PDI，全称为Pentaho Data Integration，是Kettle的一部分，是一个开源的提取、转换、加载（ETL）工具，由Pentaho公司开发。Kettle以数据流的形式处理数据，提供了一整套图形化的界面，让数据处理变得更加直观和易用...
Tomcat启动失败，日志文件.log＜拒绝访问。＞已解决。
weixin_52237839的博客
03-17 2316
Tomcat启动失败，日志文件.log已解决。
EtherCAT笔记--Synchronization同步方式（一）
中华田园巨龙
02-20 9859
介绍   Ethercat协议有多种同步方式，最常用的有三种：FreeRun，SM同步以及DC同步，下面根据倍福手册加上自己的一点理解介绍一下。 EtherCAT从站结构   要理解同步方式，首先要了解下从站结构，如下图所示。   感兴趣的朋友可以找相关资料详细了解，我们这里只针对其中的过程数据进行分析：在数据链路层，过程数据通过SM2,SM3管理器进行管理（SM2收，SM3发），通过PDI（过程数据接口）将缓冲区的数据传到MCU（应用层），以便于应用层MCU进行下一步处理。   那么简要概括下数据的流向
kettle 一些错误解决方法
热门推荐
数据之美的博客
05-10 2万+
使用kettle 过程中，kettle导出为ORC时，报了不少Class Not Found的错。都是由于少包的缘由。把一些问题的解决方法记录下来，可供参考。 kettle版本：kettle-8.2.0.0-342 CDH5.1.4 Q: java.lang.NoClassDefFoundError: org/apache/orc/TypeDescription 加orc-core-1.2...
ETL数据仓库工具Kettle(PDI)轻量级Web应用服务器环境搭建
smxzsp的博客
09-18 5241
一、Kettle工具简介 最近做的项目用到了ETL工具Kettle，这个工具相当好用，可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据。正如其名“水壶”，将各个地方的水倒进水壶里，再用水壶倒入不同的容器。 本教程主要介绍kettle轻量级服务器 Carte的部署与应用，主要记录研究过程中踩的坑。 二、Kettle组件说明 Kettle里有不同的工具，用于ETL的不同阶段。主要工具如下： Spoon：图形化工具，用于快速设计和维护复杂的ETL工作流。 ...
class path resource ...cannot be opened because it does not exist
小泰迪的博客
11-07 7553
最近遇到如标题所述的问题，百度的解决方案如下： 需要在pom.xml中追加如下配置 ...... <build> ...... <!-- 如果不添加此节点mybatis的mapper.xml文件都会被漏掉。 --> <reso
出现class path resource [application.xml] cannot be opened because it does not exist的解决方法
码农研究僧的博客
11-27 6183
出现如下问题提示的时候 org.springframework.beans.factory.BeanDefinitionStoreException: IOException parsing XML document from class path resource [application.xml]; nested exception is java.io.FileNotFoundException: class path resource [application.xml] cannot be op
kettle pentaho log4j 日志记录
huryer的专栏
04-11 3332
kettle pentaho log4j 日志记录 版本：kettle 4.1 需求描述： 使用java集成kettle插件，执行脚本时，控制台可以显示kettle和调用类的日志，但是日志文件却只能显示调用类的日志，kettle日志不显示。 需求分析： 分析发现 kettle-engine.jar包中有一个log4j.xml，其中仅包含CONSOLE 这一个appender; 提取lo...
【ETL】Pentaho Server日志锁表及ID_BATCH重复问题
愚蠢的小根儿
11-23 1644
前言 在pentaho server上配置日志数据库之后，一般会遇到锁表和日志记录重复问题，这两个问题的原因都是因为ID_BATCH字段自增出现错误，按照kettle的设计逻辑，kettle不能预设用户在存储日志时使用何种数据库，所以它不能利用数据库本身的特性对ID_BATCH进行自增操作，而且kettle任务本身是并行运行的，这就导致在写入日志数据时会出现几条重复记录，而且这几条记录ID_BAT...
使用PDI构建开源ETL：Pentaho Kettle解决方案实战
数据清洗部分详细讨论了数据质量的提升，如错误处理、审计数据和过程质量，以及数据去重策略。 这本书全面覆盖了Pentaho Kettle的各个方面，从基础概念到高级用法，为读者提供了构建高效、可扩展的ETL流程所需的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值