Hive导出数据的分隔符问题

最新推荐文章于 2023-07-21 10:00:30 发布
转载 最新推荐文章于 2023-07-21 10:00:30 发布 · 534 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/sucre/blog/702437
文章标签：

#大数据

本文分享了一次使用Hive导出数据时遇到的问题：尝试使用复合字符作为字段分隔符导致数据导出异常的经历。文章揭示了Hive在此方面的限制，并提醒开发者注意细节避免类似错误。

为什么80%的码农都做不了架构师？>>>   hot3.png

今天用Hive导数据的时候，习惯的写下了如下代码

INSERT OVERWRITE LOCAL DIRECTORY '/home/sucre/loan'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '#\$'

怎么样？乍一看没有问题吧？可是导出的数据中是有问题的，里面只有#号，而没有$符，查了官方的文档才知道，这里的分隔符只能一个单字符，不能是多个字符，看来思考问题要全面了，不能凭总以为写东西了。

转载于:https://my.oschina.net/sucre/blog/702437

【大数据Hive】hive 多字段分隔符使用详解
congge_study的博客
03-03 8413
hive 多字段分隔符使用详解
hive 导出数据分隔符
韩王-信
09-02 2883
hive导出数据的分隔符为^A, 通常需要以下来替换 [leo@hadoop orgplan]$ sed  -i "s/^A/\t/g" orgplan
Hive支持多分隔符
weixin_44769733的博客
12-18 405
一:hive支持多分隔符 前言: 需求:导出hive表中的数据,以|+|作为分隔符 多么大胆的需求啊,终于埋坑了! 关键字段: ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|+|") ...
HIVE迁移的点点滴滴（四）--HIVE数据导出及自定义分隔符
scjthree的专栏
05-23 1252
HIVE数据导出是比较简单的，直接用HIVE自带的命令即可：hive -e "select * from prs.prs_goods_b2b" > prs_goods_b2b从HIVE中导出表数据到本地文件中但是导出来的数据是用HIVE自带的分隔符。查了下貌似HIVE没有导出数据指定分割符的语句。看起来只能在linux里处理了 刚刚打开还以为是空格作为分隔符，所以直接用sed -i 's/ /,/
Hive应用：选取分隔符
阿正的博客
04-22 8145
在使用hive的时候，分隔符是必不可少的，当学习的时候使用的都是常规分隔符，比如：逗号“,”、竖线“|”等，这些键盘上都可以直接输入的字符，但是这些字符只要是键盘上的，在针对复杂的业务逻辑的时候，都会失效。 比如你有一个备注字段，这个字段允许用户输入输入键盘上的任何字符，一旦用户输入了你选择的分隔符，那么Hive在使用这个数据的时候，就会导致hive表中的字段错位。 使用多个组合字符，也可以成...
Hive中将查询结果导出到指定分隔符的文件中
DataFlow范式
06-27 9844
在Hive0.11.0版本中新引进了一个新的特性，当用户将Hive查询结果输出到文件中时，用户可以指定列的分割符，而在之前的版本是不能指定列之间的分隔符。 在Hive0.11.0之前版本如下使用，无法指定分隔符，默认为\x01： hive (hive)> insertoverwrite local directory '/home/hadoop/export_hive' select * fr
Hive表中四种不同数据导出方式以及如何自定义导出列分隔符
NIITYZU的专栏
12-29 1万+
Hive四种数据导出方式介绍
Kettle 抽取导出hive 数据 到 文本文件问题——分隔符
LIdahai_daylife的博客
07-29 1753
Kettle 抽取导出hive 数据 到 文本文件问题——分隔符 表输入中遇到两个问题，1是 字段太长，无法识别，需要转换成String 2是 中文内容中有英文逗号，我选择英文逗号作为分隔符后导致不该被分割的内容被切开 所有需要注意的地方都用红框框了出来 注意kettle date类型导出来是2019/07/28 这种分隔符 所以要在文本文件输出指定格式 并且注意 更改原来自带的Timestamp 为Date 格式，否则hive映射会失败，显示NULL 最后说说今天学到的东西 本来觉得时
Hive导出ORC表数据所遇到的乱码问题及其它导出问题
qq_45124566的博客
06-20 1614
Hive导出ORC表数据所遇到的乱码问题
seatunnel hive source 未设置分隔符导致多个字段合并成一个的问题定位解决
shy_snow的专栏
07-21 829
seatunnel hive source 未设置分隔符导致多个字段没有切分全保存在一个字段中了,翻看源码发现分隔符是是通过delimiter设置的,只要设置这个delimiter=","就可以了。
hive 导出数据并指定分隔符
weixin_41634597的博客
05-06 6611
需求：使用beeline，将hive数据导出到本地服务器，TXT 格式，分隔符为‘|+|’。 实现 实现方式分为两种： 1、insert overwrite 将结果导出到文件，并指定分隔符 举例： insert overwrite local directory ‘/home/data/test.txt’ row format delimited fields terminated by ‘|+|’ select * from table; 2、hive -f 或者hive-e beeline -u jdb
hive数据导出至本地文件，如何指定分隔符
热门推荐
Forever-守望
12-21 2万+
有时候需要将hive库中的部分数据导入至本地，这样子做可视化和小规模的数据挖掘实验都是比较方便的。数据导入至本地的HQL语法如下： INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1;但是hive对字段分隔时默认使用的分隔符是^A，使用文本编辑器打开文件显示出来就是乱码，同时，后续提取字段值时需要指定这个特殊的分隔符，在p
CSV导入到hive中，处理分号问题
weixin_30268921的博客
12-26 529
1、导入的原数据 103744;545479945;2017.05.17 06:41:08;sell;eurusd_;0.10;1.11080;1.11280;1.10880;1.11081;0.00;0.00; 2、建表语句。分号是hdfs中的特殊字符，需要把';'转成ascII码'\073' create table hive_trade (heyue string,login stri...
hive导出到csv hive导出到excel
yy的博客
11-19 5472
-- 导出到csv 逗号分隔 列中字符串含逗号容易冲突 hive -e "set hive.cli.print.header=true;set hive.tez.container.size=3020;set hive.execution.engine=tez;select * from dwd.dwd_fact_issue_issue_and_reply" | sed 's/[\t]/,/g' > ./res.csv -- 导出到文本 \t分隔 方便复制到excel hive -e "s
Sqoop导入hive分隔符问题
张伟的专栏
04-25 2672
2016-11-29 14:33 606人阅读 评论(0) 收藏 举报  分类： Hadoop（26）  Sqoop从Oracle导入数据到Hive，示例： [plain] view plain copy sqoop import --connect jdbc:oracle:thin:@oracle-host:p
hive建外表时默认分隔符错误导致行数增加和数据错误
源码物语
05-12 2487
hive根据hdfs建立外表时，一般使用这种格式规范： ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 这种方式识别的默认行分隔符其实并不只是行分隔符'\n'，还包括'\r'，'\r\n'，'\u0001'，'\u0002'，'\u0003' 因此有如果字段中存在'\r'，可能会导致外表行数与预期不一致的增加 这种处理应该是为了兼容windows
Hive 导出数据按逗号分隔
我是小坏
08-30 6964
1、若数据文件格式恰好是用户需要的格式，只需简单的使用hdfs 命令copy即可   hadoop  fs - cp source_path target_path  2 、使用 INSERT .... DIRECTORY.... ,如下面例子所示: INSERT OVERWRITE  LOCAL DIRECTORY '/home/hadoop/stu' SELECT ID,NAME,AG...
hive 中tab分隔符导致的数据异常
yisun123456的博客
09-29 3672
1.在hive建表时，如果使用tab \t作为分隔符， 一定要保证各个字段里没有该字符，不然会顺延数据； 2.如果是其他分隔符分隔，但是字段里仍然含有\t tab 分隔符，在使用select数据时仍然会出现数据顺延，所以也要对数据去除这个特殊符号 select description as cc0,description as cc1,description as cc2,descriptio...
hive导出文件并制定分隔符0X01
最新发布
07-10
如果你想要从Hive表中导出数据到文本文件，并指定分隔符为0x01（十六进制的1），你可以使用`SELECT ... INTO LOCAL FILE`或者`INSERT OVERWRITE DIRECTORY`命令。 例如，使用`INTO LOCAL FILE`： ```sql SELECT * ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值