datastage提取平面文件的分隔符问题

最新推荐文章于 2022-03-31 15:03:00 发布
最新推荐文章于 2022-03-31 15:03:00 发布
阅读量508 收藏 2
点赞数
今天有使用ds提取平面文件，遇到了分隔符为多字节的问题。
1、使用server job只支持单字节的分隔符
2、使用parallel job可以支持多个字节的分隔符
例如分隔符为/x01
可以做如下的设置

记得是delimiter string
这样就可以使用各种字符拼接的多字节分隔符了

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/27120361/viewspace-1770586/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/27120361/viewspace-1770586/

congji1914
关注
DataStage常见错误记录
ningnd的博客
12-16 2677
Ora-01427: 单个子查询返回多个行：select语句下面嵌套的select语句查询结果大于一行. 解决方法：将嵌套查询语句加上where rownum=1，附录有去重语句。 ora-01461： 仅能绑定要插入 LONG 列的 LONG 值：实际字符长度大于2000，字段被强转为CLOB。 解决办法:将字段截取。 Ora-01772: 一般是字符型转num型发生错误， 解决方法：新建FN_GETNUM函数（附在文档后），对照目标表，对原表VARCHAR类型、目标表为num类型的列执行
关于DS报错：Delimiter for field "TURNOVER_VOLUE" not found; input: {1 8 3 5 1 9 6 8 6 6}, at offset: 65的问
jinlinxie的博客
08-16 2011
DS在获取CSV文件时，有时会报如下警告： 或者是如下警告： 虽然job跑成功，但是可以发现数据没有加载过去，第一个情况是因为CSV文件里的末尾没有分隔符，但我们的DS里设置的format里设置的【final delimiter】有分隔符，如下 图所示，第二个情况跟第一种情况反过来。 解决方法： 这里应该根据CSV文件里末尾看有没有分隔符，如果有分隔符，在【final del
动手学习数据分析 0x01总结
INGg__的博客
08-08 198
关于DataWhale中的动手学习数据分析的第一章总结 第一节：数据载入和初步观察 要想导入数据还是得先加载库 import numpy as np import pandas as pd 载入训练集 # 两种方式，绝对路径和相对路径 # 使用os.getcwd()可查看当前路径 df = pd.read_csy('train.csv') df = pd.read_csv('D:\\Code\\jupyter notebook\\hands-on-data-analysis-master\\hand
DataStage,导入文本文件,Data Browser查看不了,报错
xixi2010426的博客
07-18 854
 ##I IIS-DSEE-TFCN-00001 23:29:50(000) <main_program>  IBM WebSphere DataStage Enterprise Edition 8.5.0.5746  Copyright (c) 2001, 2005-2008 IBM Corporation. All rights reserved     ##I IIS-DSEE-...
【Datastage】记一次Datastage处理Oracle的Clob字段入库问题
lonely19941005的博客
06-30 2648
前言 在我们使用ETL工具抽数入Oracle库时，除去我们经常使用的Char（0～2000字节）和Varchar2（1～4000字节）的字符串类型外，还有一些超出了4000字节的字符串数据存储会用到字符型大型对象（Character Large Object）–Clob。 在Oracle中，LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因为这种类型的字段，容量大（最多能容纳4GB的数据），且一个表中可以有多个这种类型的字段，很灵活，适用于数据量非常大的业务领域（如图象、档案等）。
关于DataStage的字符集问题
scottxie1980的专栏
12-06 4828
最近项目中要遇到一个问题：使用DataStage将数据源文件数据导入到DB2中时，发现有个别中文字缺失。当时第一反应是DataStage中字符集设置不正确。然而先后将Source，TargetTable，Job Properties的NLS更改后（几乎用遍了里面所提供的字符集 其中能在viewData时正确显示的是 MS936，None是忽略字符集即原来是什么样就是什么样。这个的话有时
datastage导入txt文件
weixin_43322685的博客
05-14 824
一开始job有跑成功，但是没有加载进去数据: 在Output － Format里输入如下值（有三个） Final delimiter = end 表示每行的结尾用“回车”来结束 Delimiter = | 表示每个字段用“|”标识（指标上传接口规范里说明） Null field value = ‘’ 表示对于空值的字段输入空（可以在Notepad里面查看制表符视图–显示符号-显示空格和制表符）...
DATASTAGE——DATASTAGE经验积累
04-19
本文档内容均来自自己学习整理，以及部分参考一些作者在WWW.IBM.com 官方网 站以及相关网站发表的文章。 其中部分图例涉及到一些项目，在此不回答任何相关问题，相关图只作为例子参考说明。 此学习版只用作个人学习参考，不能作为商业运用，违者自负
大数据文件分隔符
热门推荐
小工匠
12-18 2万+
hadoop 文件分隔符
datstage处理文本文件中存在多余换行符的数据
bfhai的博客
11-24 1400
在使用ds读取文件时可能会遇到字段中包含换行符的情况，在并行作业中并没有内置的方法来处理这中情况。ds读取文件的时候是根据行尾字符来定位一行是否结束，它一次读取一行数据，然后解析这些列。 解决此问题的几个解决方法是： •使用并行作业中的Extend Source组件，用sed、awk等预处理文件，将文件中多余的换行符处理掉 •使用作业中的预处理功能，调用脚本或其他自定义程序将文件提前清洗
mysql load 文件，以不可见字符十六进制 0x01 为分隔符时怎么做
heyianliunian的博客
03-31 4296
今天在把数据湖的数据导入到MySQL时， 每一列的分隔符，数据湖使用的是 十六进制的 0x01 , 我这边怎么导入都总是把数据导入到一个字段里面， 恶心死了 问题：## 标题 数据导入时总是导入到一个字段 原因： 列分隔符使用错误 解决方法： 数据湖那边使用的是十六进制的 0x01 我这边分隔符使用 fields terminated by x’01’ sql导入语句 load data local infile '/sdata/ISMS/20220131/imp_p_cust_contact_info
datastage导入表结构oracle,Datastage8.5导入导出DS作业例子
weixin_35702533的博客
04-09 759
以下为Datastage8.5的命令行方式的导入和导出，直接登陆服务器执行如下命令即可。不是Datastage客户端的导入和导出，使用命令行方式的好处是：可以将该命令使用shell脚本进行调用导入和导出。1.导入1.1 导入新作业(原工作空间里不存在)$DSHOME/../../Clients/istools/cli/istool import -dom dpapp01 -u用户名 -p密码 ...
关于Datastage配置带参数的存储过程调度
jinlinxie的博客
09-22 2908
1，打开空间的属性，如下图， 2,。单价【Parameters】,在参数列表中配置存储过程中的参数，如下图所示： 3.再点开【stage】,如下图选择【columns】，配置存储过程参数。
【Datastage】函数大全
ajsyipsc40270的博客
05-30 1097
一、 类型转换函数类型转换函数用于更改参数的类型。以下函数位于表达式编辑器的“类型转换”类别中。方括号表示参数是可选的。缺省日期格式为 %yyyy-%mm-%dd。以下示例按照 Transformer 阶段的“派生”字段中所示来显示这些函数。1. Char根据其数字代码值生成一个 ASCII 字符。您可以指定 allow8bits 参数来转换 8 位 ASCII 值（可选）。· 输入：c...
导出csv文件时，处理分隔符问题(转)
weixin_33720078的博客
03-23 1297
转自：http://blog.sina.com.cn/s/blog_468530a60100kjpy.html   CSV文件默认以英文逗号做为列分隔符，换行符作为行分隔符。 如果不提供网页形式只用命令行或二进制程序输出数据到CSV，只需要将数据段按,分割，行按\n分割，写入到一个.csv文件即可。 但有时字段里含有,和换行符就麻烦了，数据输出会出现混乱。 这时可以使用双引号"来将每个字...
php文件目录分隔符Windows与linux兼容的问题
小小黑
12-19 5041
再这两个系统中，Windows的分隔符是“\”，linux是“/”，所以在文件目录匹配的时候可能会遇到系统不兼容出错，所以一般定义目录分隔符使用如下php常量：DIRECTORY_SEPARATOR
MS SQL导入平面文件源
左直拳的马桶_日用桶
09-19 3750
MS SQL不支持备份、还原单个表，可是导入平面文件源的数据也忒麻烦了一点。经过试验，总结导入平面文件源数据的经验如下：1、 一定要在数据库所在的机器上进行导入。在另一台机器上访问目标数据库并进行导入，即使帐号是sa，也照样不成功；2、 源文件里的列要尽可能跟目标表的类型、长度一致；这个可以在“选择数据源-高级”里面设置。导出
EXF文件格式详解：开发流程与分隔符定义
在不同操作系统中，如Unix、Windows和Mac，一行结束的标记不同，开发者需确保在处理文件时考虑到这种差异，避免因为换行符问题导致解析错误。 此外，文中还提到关于Job属性说明的部分，包括sequentialfile格式以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值