hive建外表时默认分隔符错误导致行数增加和数据错误

最新推荐文章于 2024-10-09 19:24:15 发布

原创最新推荐文章于 2024-10-09 19:24:15 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

本文探讨了Hive在根据HDFS建立外表时遇到的问题，特别是当使用特定格式规范时，行分隔符不仅包括' '，还包括' '、' '等，这可能导致字段中存在' '时行数与预期不符的情况。文章还提及了一个相关JIRA问题，并指出该问题在Hive 0.12版本中仍然存在。

hive根据hdfs建立外表时，一般使用这种格式规范： ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

这种方式识别的默认行分隔符其实并不只是行分隔符'\n'，还包括'\r'，'\r\n'，'\u0001'，'\u0002'，'\u0003'

因此有如果字段中存在'\r'，可能会导致外表行数与预期不一致的增加

这种处理应该是为了兼容windows

相关的一个jira https://issues.apache.org/jira/browse/HIVE-3810

根据实践，hive 0.12依然存在这个问题

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

stevesun13

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hive查询特殊字段解决方案

杨鑫newlife的专栏

10-10

5763

问题： 1.字段、表名是中文，表名，数据库是中文名，怎么解决？ 2.字段、表名特殊的字符包括 \, (), $ ...，怎么解决？ 3.类似于func(xxx), 这是一个字段名字，不是一个函数嵌套字段，但是在hive查询引擎的解析处理中，被解析为一个udf函数和一个字段名字，怎么解决？解决方法： 1.基础解决方案，使用反引号例如： " `` " create table...

sqoop mysql数据进hive 数据条数膨胀变多变成脏数据

qq_34897849的博客

10-11

760

当mysql表中数据含有 \r 或者\n 导入数据到hive会造成数据条数的膨胀，出现大量的脏数据，因为hive表默认的行分隔符时 \n 解决方案去除mysql中的 \r \n #mysql建表 create table student(id int(10),name varchar(255)); insert into student values(1,'{yang\r \n ...

1 条评论您还未登录，请先登录后发表或查看评论

Hive实战（三）特定分割符\u0003

sheep8521的博客

05-17

5130

create table temp.tmp_test_serp( id string, name string, password string )row format delimited fields terminated by '\003' 使用java编写一个特定分割符\u0003的txt文件。 int splitChar = 3; String splitString1 = String.valueOf((char)splitChar); System.out

hive使用中踩的一些坑

somTian的博客

06-30

2308

hive使用过程中遇到的一些问题和解决方法

【原】创建Hive表，分号分隔符“；”引起的异常

asdfgh0077的博客

02-10

279

【原】创建Hive表，分号分隔符“；”引起的异常

hive 中tab分隔符导致的数据异常

yisun123456的博客

09-29

3684

1.在hive建表时，如果使用tab \t作为分隔符，一定要保证各个字段里没有该字符，不然会顺延数据； 2.如果是其他分隔符分隔，但是字段里仍然含有\t tab 分隔符，在使用select数据时仍然会出现数据顺延，所以也要对数据去除这个特殊符号 select description as cc0,description as cc1,description as cc2,descriptio...

hive数据仓库

qq_44676946的博客

03-15

3570

数据仓库-Hive 数据仓库 1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以理解为：面向分析的存储系统。 1.2. 主要特征数据仓库是面向主题的（Subject-Oriented ）、集成的（Integ

Hive表基本操作_1

分享~

05-14

923

摘要：内部表外部表数据导入导出分区表

Hive3.x数仓开发

七七的博客

06-10

2318

文章目录一、数仓仓库概念二、数据仓库分层架构ODS\DW\DA(ADS)ETL\ELT三、Hive 概述一、数仓仓库概念二、数据仓库分层架构 ODS\DW\DA(ADS) ETL\ELT 三、Hive 概述 Metastore配置方式 Hive部署 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </pr

【大数据】一篇认识Hive

m0_46181896的博客

10-09

3983

文章目录一、数据仓库1.1、数据仓库概念1.2、数据仓库核心特征1.3、数据库和数据仓库的区别1.4、数据仓库分层架构[**重要**]1.5、ETL和ELT二、Apache Hive2.1、Hive的概念2.2、Hive的架构组件(非常重要)2.3、Hive和Mysql的区别三、Hive安装3.1、Metadata、metastore3.2、Hive的安装部署模式3.3、Hive的远程模式部署安装3.3.1、安装Hadoop3.3.2、安装MySQL3.3.3、安装Hive (==选择node1安装==)四

HIVE 大数据学习

OutRoading的博客

03-09

1342

Apache Hive是一款建立在Hadoop之上的开源系统，可以将存储在Hadoop文件中的，基于表提供了一种类似SQL的查询模式，称为，用于访问和分析存储在Hadoop文件中的大型数据集Hive核心是将 HQL转换成MapReduce程序，然后将程序提交到Hadoop集群执行。Hive由Facebook实现并开源。

修改hive外部表分隔符

LZX的博客

06-28

2647

ALTER TABLE table_name SET SERDEPROPERTIES ('field.delim' = '\t' , 'serialization.format'='\t'); ALTER TABLE table_name SET SERDEPROPERTIES ('field.delim' = '\001' , 'serialization.format'='\001');

hive查询时字段带有特殊符号解决办法

Lenskit

08-10

1万+

最近遇到的问题，由于hive字段是“$id”，在hive中运行时需要判断是否为空，使用反引号来做判断`$id` is null，没有问题。但是因为我要在shell里循环多个日期跑，使用hive -e "语句"时，却报错，最后排查是因为hive -e后面接双引号的话，会导致反引号失效，导致shell认为$id是参数。解决方式：需要用hive -e '语句'来执行，并且将语句中本来判断条件的单...

Hive多字节分隔符处理

weixin_45264992的博客

10-26

534

Hive多字节分隔符处理. 问题：当我们存放在表目录下的数据，其分隔符是多字节分隔符，例如：“||”，“–”等，或者数据的字段中也包含了分隔符。则Hive在解析数据文件时就会出现错误。解决方案1：替换分隔符 使用MR程序提前将分隔符替换成单字节分隔符 解决方案2：RegexSerDE正则加载. 建表加载示例：解决方案3：自定义InputFormat类不推荐使用 ...

Hive通过已有表来创建新表时出现一些列错误

大饼辉的专栏

04-21

3010

我的系统下： Hadoop的安装目录为：/home/hbase/install/hadoop-2.3.0-cdh5.1.0 Hive的安装目录为：/home/hbase/install/hive-0.12.0-cdh5.1.0 在hive中已经创建表ht_persons，既然可以建表，说明我的系统安装是成功的，至少有一半是成功的。但是在通过已有表来创建新表时出现如下错误。 hi

解决 Hive 外部表分隔符问题的实用指南

kilig_CSM的博客

12-19

1305

在使用 Hive 外部表时，分隔符设置不当可能导致数据导入和查询过程中的问题。本文将详细介绍如何解决在 Hive 外部表中正确设置分隔符的步骤。

对hive中默认分隔符含义的解释

攻城狮Kevin

06-18

1万+

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001' COLLECTION ITEMS TERMINATED BY '\u0002' MAP KEYS TERMINATED BY '\u0003' \u0001是ASCII编码值，对应java代码中的"\001" 意义如下：（1）FIELDS，字段之间的分隔符是'\u000...

HIVE-默认分隔符的（linux系统的特殊字符）查看，输入和修改

weixin_34415923的博客

11-08

1883

这段时间做hive的时候，用到了系统默认分隔符。通常下面2中情况我们需要需要用到分隔符 1，制作table的输入文件，有时候我们需要输入一些特殊的分隔符 2，把hive表格导出到本地时，系统默认的分隔符是^A，这个是特殊字符，直接cat或者vim是看不到的 分隔符在HIVE中的用途 分隔符 描述 \n 对于文本文件来说，每行都...

三种空格unicode(\u00A0,\u0020,\u3000)表示的区别