Pentaho PDI对于错误信息的处理

最新推荐文章于 2023-03-17 10:21:23 发布
原创 最新推荐文章于 2023-03-17 10:21:23 发布 · 831 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍使用PDI处理大量CSV文件导入时遇到错误的具体解决办法。通过调整loglevel、设置错误处理步骤以及利用Excel输出错误信息，可以有效定位问题所在。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

导入一批数据时提示错误，提示有一个序列号的数据有问题，可用信息包含一个产品序列号和对应的时间戳，可是我导入的是csv文件，有几百个，根本不知道这个产品包含在那个csv文档中。查找后，PDI对于错误日志的处理可以用如下方式：


1. 打开log level，让log的输出内容更丰富


2. 鼠标右键点选对应步骤，选择Error Handling



3. 加一步excel输出，连接有问题的步骤，连线时选择Error Handling of Step，将错误结果输出到excel表中查看，excel输出比text输出要容易查看





初识Kettle（二）
东天里的冬天
07-18 1026
通过本篇内容你可以了解到如何快捷下载Kettle以及Kettle各目录文件夹的作用分别是什么
Ubuntu Server 16.04 安装Pentaho PDI 7.1
数据之路
09-06 1861
参考： http://fcorti.com/2016/12/05/installing-pentaho-data-integration-7/ 1. 安装JAVA运行环境 sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer s
程序出现问题时的调试方法
一个前端仔的博客简介
07-28 2804
计算机的错误分为两种：语法错误和逻辑错误 语法错误 比如alter拼写错误，写成了alter。   运行结果只显示7，后面的结果没有显示，说明后面的代码没有执行。因为输出7后遇到了语法错误，程序终止执行。 上例也进一步的说明了解释性语言的特点：翻译一条执行一条，遇到错误提前终止执行。 var b = a + 3; alert(b) 运行结果：不显示。通过开发者工具可以看到下
关于error handling的一些理解
BLSpan的博客
09-05 3013
一晃四五个月过去，发现好久没写博客了。一是因为最近这几个月事情比较多，二可能是因为懒了吧（毕竟动脑子的东西，相当耗能量和脑细胞），╮(╯▽╰)╭。不过还是要克服一下，尤其是还在段位比较低，还需要持续成长的过程中。对于程序员来说，错误处理是不可避免的，这次简单谈谈实际编程过程中的Error Handling。最后，以【5】中@大宽宽的回答作为一个总结吧。对于“正确的处理错误”？有两种不同的目标：要编写正确的代码。这里“正确”是指对任何设计上要处理的错误都必须设计处理流程。
Tomcat启动失败，日志文件.log＜拒绝访问。＞已解决。
weixin_52237839的博客
03-17 2316
Tomcat启动失败，日志文件.log已解决。
PDI(kettle) JavaScript组件使用及错误处理
果果的小莴笋
10-11 2857
JavaScript组件简介 **步骤名称：**指定画布上修改的 Java 脚本值步骤的唯一名称 **Transform Scripts：**在此步骤中创建的脚本 **Transform Constants：**预定义的静态常量，用于控制数据行发生的情况。您必须为 trans_Status 变量分配一个常量值。要使用这些常量，必须首先CONTINUE_TRANSFORMATION在脚本的开头设置 trans_Status 变量，以便将变量分配给正在处理的第一行。否则，将忽略对 trans_Status
OpenWISP-ETL:使用 pentaho pdi ce-5.0.1.A 开发的 Extract Transform Load Module
07-04
OpenWISP-ETL 是一个基于 Pentaho Data Integration (PDI) Community Edition 5.0.1.A 开发的数据处理工具，主要用于数据提取、转换和加载（ETL）过程。在IT领域，ETL是数据仓库建设中的核心部分，它负责从各种数据...
《Pentaho Kettle解决方案_使用PDI构建开源ETL解决方案》书中的代码
01-13
PDI，通常被称为Kettle，是Pentaho BI Suite的一部分，是一个强大的开源工具，用于处理各种数据集成任务。通过这本书，读者可以学习到如何有效地利用Kettle来构建高效的数据处理流程。 首先，"635179_downloads.zip...
pentaho-kettle
06-08
Pentaho Kettle，通常被称为Pentaho Data Integration（PDI），是开源企业级数据集成工具，主要用于ETL（Extract, Transform, Load）过程。它由社区驱动，是Pentaho BI Suite的重要组成部分，用于处理数据整合任务，...
pdi-ce-7.0.0.0-25.7z
03-12
PDI，全称为Pentaho Data Integration，是Kettle的一部分，是一个开源的提取、转换、加载（ETL）工具，由Pentaho公司开发。Kettle以数据流的形式处理数据，提供了一整套图形化的界面，让数据处理变得更加直观和易用...
WinDVD v5.x注册机
02-16
WinDVD v5.x注册机... WinDVD是一款功能强大的DVD播放器。它组合了多种标准消费型DVD播放器的功能，例如，全面支持VCD 2.0、精确解码、可选用户界面以及视频显示选项。
kettle 一些错误解决方法
数据之美的博客
05-10 2万+
使用kettle 过程中，kettle导出为ORC时，报了不少Class Not Found的错。都是由于少包的缘由。把一些问题的解决方法记录下来，可供参考。 kettle版本：kettle-8.2.0.0-342 CDH5.1.4 Q: java.lang.NoClassDefFoundError: org/apache/orc/TypeDescription 加orc-core-1.2...
ETL数据仓库工具Kettle(PDI)轻量级Web应用服务器环境搭建
smxzsp的博客
09-18 5245
一、Kettle工具简介 最近做的项目用到了ETL工具Kettle，这个工具相当好用，可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据。正如其名“水壶”，将各个地方的水倒进水壶里，再用水壶倒入不同的容器。 本教程主要介绍kettle轻量级服务器 Carte的部署与应用，主要记录研究过程中踩的坑。 二、Kettle组件说明 Kettle里有不同的工具，用于ETL的不同阶段。主要工具如下： Spoon：图形化工具，用于快速设计和维护复杂的ETL工作流。 ...
Kettle — 安装和部署
热门推荐
永远不会懂
09-11 3万+
前提 Kettle是纯Java编写的ETL开源工具，目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置，Java版本是否是8或者以上。 Kettle安装 1）创建Kettle的目录，并将Kettle的zip包解压到Kettle目录下 2）查看一下sh文件使用都有执行的权限，如果没请加上。 4）执行...
kettle中定义错误处理
枫的专栏
06-18 2万+
在kettle执行的过程中，如果遇到错误，kettle会停止运行。在某些时候，并不希望kettle停止运行，这时候可以使用错误处理（Step Error Handling）。错误处理允许你配置一个步骤来取代出现错误时停止运行一个转换，出现错误的记录行将会传递给另一个步骤。在Step error handling settings对话框里，需要设置启用错误处理。 下面例子中读取postgres
java.lang.NullPointerException at org.pentaho.di.ui.core.database.dialog.Xul
曾大强博客
09-27 1009
初次使用kettle连接mysql时遇到的问题
Kettle PDI后台执行定时任务
梦回乌托邦
11-19 636
目录定时任务crontab 定时任务 1.写一个.sh脚本 vim test.sh 内容 /opt/software/data-integration/kitchen.sh -dir=/ -rep=187a -user=admin -pass=123456 -job=1 -log=./logs/log.log -level=Detailed 2.加可执行权限 chmod +x test.sh 3.编辑定时任务 crontab -e 内容，表示1
使用kettle遇到的问题
dongdong2980的博客
04-10 1万+
参考文章：http://blog.sina.com.cn/s/blog_888269b20100tw8q.htmlhttps://www.phpsong.com/1074.htmlhttp://www.ttlsa.com/mysql/research-and-measurement-of-timeout-mysql/https://blog.youkuaiyun.com/gladmustang/article...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值