hive数据量不一致，表1是5条，导入到表2，变成了10条

于 2024-01-17 16:40:51 发布
阅读量513 收藏 6
点赞数 5
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40382400/article/details/135654481
版权

原因：

hive的数据里面，有脏数据，比如某个字段中的数据有换行符、\n

如果hive设置的参数，换行符正好是\n，那么数据就会变多

Sqoop同步数据数据中存在换行符导致两边数据条数不一致问题解决（AVRO格式应用）
石榴姐yyds
05-03 1652
本文讲解了Sqoop同步数据中存在特殊换行符导致两边数据不一致问题的解决方法，同时对AVRO对解决这一类问题进行了重点讲解，包括AVRO语法格式、Hive建表语法等。
hive表拉链
someInNeed的博客
12-25 198
--获取0-99 WITH a AS (SELECT explode(split('0,1,2,3,4,5,6,7,8,9',','))) select cast(a1.col + 10*a2.col as int) from a a1 JOIN a a2 ON 1=1 拉链表 WITH a AS (SELECT explode(split('0,1,2,3,4,5,6,7,8,9',','))) SELECT t.* ,regexp_replace(d.dt_date,'-',..
HIVE中导入文件后数据量变多原因和去除换行符的解决办法
热门推荐
Miracle.Zhao的博客
12-27 1万+
在使用excel导入文件进入hive的时候，一切顺利，但是导入后查询数据，发现数据量变多了，比如：一开始excel中的数据量是8000条，导入hive后，查询的数据变成10000多条，数据量在导入后变多了。于是查找原因 首先从hive建的表开始查起，表的建表语句如下下所示： create table if not exists TMP_T1 ( T1 VARCHAR(100) comment 't1', T2 VARCHAR(100) comment 't2', T3 VARCHAR(100)
Hive：一张表数据分别向多个张表插入数据
程序猿启程
07-19 915
创建（有）数据表，并插入数据 创建多张空表 一张表的数据分开向多张表插入 一张表的数据向另一张表插入
hive, count统计与列表不一致
weixin_44129801的博客
03-24 2664
1. 问题 同一张表, 单独查询字段时有数据, 但是使用count查询显示0 2. 分析 count查询走的是hive元数据, 找到hive元数据库的partition_params表, 查看numFiles, numRows, rawDataSize等属性 3. 方案 同步元数据统计信息 analyze table <table_name> COMPUTE STATISTICS; ...
从datax增量同步数据后，执行hive count统计与实际数据不一致
qq_42396440的博客
05-18 908
执行hive count统计与实际数据不一致
HIVE实际开发问题:select * 和 select count（*） 条数不一样
光脚虾的博客
12-04 4450
前置 目前是做一个大数据平台迁移的项目，传输完数据后，在部署生产环境之前需要对功能模块进行测试，测试时对hive每张表都造了一条数据 问题情况 检查到某张表的时候 sql语句： select * from table; 结果显示是这样的： select count(*) from table; 当我count（*）时候 结果显示是这样的 明明表里面有数据，但是count 的结果是0 解决...
hive数据仓库
qq_44676946的博客
03-15 3518
数据仓库-Hive 数据仓库 1.1. 基本概念 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。 数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：面向分析的存储系统。 1.2. 主要特征 数据仓库是面向主题的（Subject-Oriented ）、集成的（Integ
5、Hive 数据仓库技术
KamRoseLee的博客
11-12 1334
一、Hive 概念 Hive 是基于 Hadoop 的数据仓库软件，可以查询和管理 PB 级别的分布式数据。数据仓库已用多种方式定义，很难给出一种严格的定义。宽泛来讲，数据仓库是一种数据库，他与单位的操作数据库分别维护。数据仓库系统允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程...
第9章 数据仓库Hive
wyz191的专栏
04-09 2875
数据仓库 数据仓库的定义 专业定义 英文名称为Data Warehouse，可简写为DW。是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 通俗解释 （1）面向分析的存储系统(面向数据分析的存储系统） （2）W.H.Inmmon给出的，即“数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integra
hive sql 将查询数据导入csv文件中因字符串中有换行符导致出现文段换行的问题
Alan3344的博客
04-08 3264
一、此篇博客主要记录在此次从hive表中查询数据导入到csv文件中，因为某个字符串字段中含有大量的换行符导致存入在csv文件中的数据出现了换行、错位的情况，以此记录 二、最终实现sql如下： hive -e "set hive.cli.print.header=true; SELECT id,msg_id,regexp_replace(msg_title,'\\\\n|\\n|\\r|\\\...
hive外部表数据导入时多一条的问题
shalyniu的博客
05-16 1176
导入hive中的数据默认的列分隔符是'\001'，默认的行分隔符是'\n'。如果导入的数据中有'\n'，hive会认为一行已经结束，后面的数据被分割成下一行。这种情况下，导入之后hive中数据的行数就比原先数据库中的多，而且会出现数据不一致的情况。 sqoop在导入时可以指定分隔符和换行符，参数--fields-terminated-by和 --lines-ter...
hive表字段里有换行符，导致一行变多行或者字段错乱
eyeofeagle的博客
09-24 9251
1，问题 #################### hbase数据：字段有换行符号 hbase(main):001:0> get 'test','r2' COLUMN CELL f:age timestamp=1599799051999, value=23 f:name timestamp=1600
hive 换行符特殊字符规避
minHyper的专栏
06-14 9234
在研究hive的时候遇到一些问题，在oracle表中查询很正常，结果导入到hive中就很不理想。 究其原因其实是因为hive是解析文本文件导致无法处理带分隔符或者回车符或者特殊字符，转义字符等等问题。 因为oracle在存储数据的时候有自己的一套二进制流写入方法，对于特殊字符基本都支持。 所以在这里我研究了采用sqoop和hive来兼容这种方法： 第一步: 改造sqoop文件 sqoop
Hive学习:Hive导入字段带逗号和换行符的CSV文件
nzbing的博客
06-28 2537
比如上面这行数据,字段"600,000,000,00"带多个逗号,这个可以用hive中内置的语句来解决,使用OpenCSVSerde来解析CSV格式的数据，并指定了CSV文件中使用的分隔符、引号字符和转义字符。比如上面这段数据,本来是两条数据,但第一条数据第三个字段中间多了个换行符,在load data进hive的时候就变成了三条数据。网上找了很久,没有看到hive能直接处理这种字段中间带换行符的方式,所以只能对csv文件进行预处理。这段代码表示分隔符为逗号,""中间的逗号不进行处理。
tez在join操作中遇到数据丢失问题（牵涉hive优化）
Mr.Zheng的博客
04-12 5519
前言 相信很多人遇到过，将tez集成到hive中时，进行表join操作，比如3张表进行join，发现最后结果和预期比较 ，少了一些。然后对每个子查询进行分析，发现往往每个子查询又没有任何数据丢失！而是到了join阶段，数据才出现部分丢失。下面我们对此进行展开叙述。 问题排查 首先，为了排查到底是哪里的情况。我们知道，tez对DAG运算做了很多优化，和传统MR运行有区别。那么到底如何查呢。 首先为...
DataFrame保存为hive表时的换行符问题
mvpboss1004的博客
11-09 1497
pyspark的DataFrame，在直接保存为hive表时，如果字符串中带有换行符，会导致换行错误。以spark 3.0.0版本为例。我们向hive表保存1条包含换行符字符串的数据，统计行数时却得到2行： >>> df = spark.createDataFrame([(1,‘hello\nworld’)], (‘id’,‘msg’)) >>> df.write.format(‘hive’).saveAsTable(‘test.newline0’) >>&
hive 2.0 下，orc 格式的hive表 change column 后 字段对应的数据丢失
12-06 1270
大牛初步分析原因是 orc 数据文件里面也会保存一部分hive字段元数据信息 ，修改后 ，新字段跟数据文件对不上 ，造成数据不能提取
hive记录中包含换行符时存储格式为textfile导致多行记录问题
u012105422的博客
02-19 3688
在处理hive数据记录时发现orc格式时本来一行记录，但是在转textfile文件时导致多行错误记录；在排查中发现textfile使用‘\n’来识别行数据，数据中包含换行符导致这样的错误。处理方式，一：使用SQL的方式过滤掉这类字符（regexp_replace(column_name,'\n|\t|\r','')；二：在处理etl阶段过滤这类字符。...
create external TABLE `dc_temp.ads_equp_relainfo_di` ( `init_date` int COMMENT '数据日期', `op_device` string COMMENT '对应设备标识', `device_type` string COMMENT '关系类型', `client_id_a` string COMMENT 'a客户号', `client_name_a` string COMMENT 'a客户名称', `parent_branch_name_a` string COMMENT 'a所属分公司', `branch_name_a` string COMMENT 'a所属营业部', `emp_no_a` string COMMENT 'a对应员工号', `emp_name_a` string COMMENT 'a员工名称', `relation_type_a` string COMMENT 'a亲属关系', `init_date_detail_a` int COMMENT '发生日期_a客户明细', `op_station_detail_a` string COMMENT '站点信息_a客户明细', `deal_prsn_type_name` string COMMENT '豁免条件', `client_id_b` string COMMENT 'b客户号', `client_name_b` string COMMENT 'b客户名称', `employee_bool` int COMMENT 'b是否员工', `emp_name_b` string COMMENT 'b员工名称', `emp_no_b` string COMMENT 'b对应员工号', `branch_name_b` string COMMENT 'b客户所属营业部', `relation_type_b` string COMMENT 'b亲属关系', `parent_branch_name_b` string COMMENT 'b客户所属分公司', `init_date_detail_b` int COMMENT '发生日期_b客户明细', `op_station_detail_b` string COMMENT '站点信息_b客户明细', `source_name_detail_b` string COMMENT '来源表中文含义_b客户明细', `source_table_detail_b` string COMMENT '来源表_b客户明细', `client_name_detail_b` string COMMENT '客户名称_b客户明细', `branch_no_detail_b` string COMMENT '营业部编号_b客户明细', `fund_account_detail_b` string COMMENT '资金账号_b客户明细', `op_entrust_way_detail_b` string COMMENT '委托方式_b客户明细', `mobile_tel_01_detail_b` string COMMENT '手机号_b客户明细', `stock_code_detail_b` string COMMENT '股票代码_b客户明细', `stock_name_detail_b` string COMMENT '股票名称_b客户明细', `report_bs_detail_b` string COMMENT '申报方向_b客户明细', `entrust_price_detail_b` string COMMENT '委托价格_b客户明细', `entrust_amount_detail_b` string COMMENT '委托数量_b客户明细', `business_balance_detail_b` string COMMENT '成交金额_b客户明细', `clear_balance_detail_b` string COMMENT '清仓金额_b客户明细', `remark_detail_b` string COMMENT '备注_b客户明细', `position_str_detail_b` string COMMENT '定位串_b客户明细', `col1` string COMMENT '备用1', `col2` string COMMENT '备用2', `col3` string COMMENT '备用3', `col4` string COMMENT '备用4', `col5` string COMMENT '备用5', `col6` string COMMENT '备用6', `update_time` string COMMENT '更新时间' ) COMMENT '合规设备站点表' PARTITIONED BY (`busi_date` string COMMENT '日分区') ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LINES TERMINATED BY '\n' STORED AS parquet TBLPROPERTIES ('creator'='qirp', 'created_date'='2025-02-28'); 我想把device_type加入到分区字段中,该如何操作
最新发布
04-04
<think>好的，用户想要将device_type字段添加到现有的分区字段中。原来的表已经有一个分区字段busi_date，现在需要加上device_type。首先，我需要回忆一下Hive中如何修改分区字段。记得Hive不支持直接修改分区字段，必须重新建表。那用户用的是外部表，所以还要注意数据存储的位置问题。 接下来，用户提供的建表语句中有PARTITIONED BY (busi_date string)，现在要改成PARTITIONED BY (busi_date string, device_type string)。不过，原来的device_type是普通字段，现在要作为分区字段，所以建表时需要将它从普通字段中移除，否则会出现重复列的错误。需要检查原来的字段列表，确认device_type是否存在。用户提供的表结构里确实有device_type字段，所以在新的建表语句中需要删除这个字段，并移到分区部分。 然后，存储路径方面，分区结构会变化，原来的分区可能只有busi_date=xxx，现在需要变成busi_date=xxx/device_type=xxx。用户需要调整数据的分区目录结构，或者重新导入数据到新表的分区中。因为是外部表，可能需要使用ALTER TABLE语句添加分区，或者使用MSCK REPAIR TABLE来修复分区，但具体操作可能因数据存储方式而异。 还要考虑数据迁移的问题。用户可能需要将旧数据按照新的分区字段重新组织目录，或者使用INSERT OVERWRITE将数据插入到新表中，同时指定busi_date和device_type的值。但需要注意，外部表的数据不会被自动删除，所以可能需要手动管理旧数据。 另外，表属性中的STORED AS parquet和行列分隔符可能也需要检查，不过因为使用Parquet格式，FIELDS TERMINATED BY可能不会影响，但最好保持一致。同时，修改后的表需要确保所有依赖该表的查询或作业更新为新的分区结构。 最后，提醒用户备份数据，测试新表结构，确保应用兼容性。可能还需要处理历史数据的分区迁移，确保查询时能正确访问到按新分区存储的数据。</think>需要将`device_type`字段加入分区字段时，需通过重建外部表实现。以下是分步操作说明： --- ### 一、核心原理 在Hive中，**分区字段不能直接修改**，必须通过以下流程： 1. 创建新表结构（包含目标分区字段） 2. 迁移旧数据到新分区结构 3. 删除旧表（可选） 4. 重命名新表（可选） --- ### 二、具体操作步骤 #### 1. 修改表结构 将原`device_type`字段**从普通列移动到分区列**，同时保留原有`busi_date`分区： ```sql CREATE EXTERNAL TABLE `dc_temp.ads_equp_relainfo_di_new` ( `init_date` int COMMENT '数据日期', `op_device` string COMMENT '对应设备标识', -- 注意：这里删除了原device_type字段的定义（已移至分区列） -- `client_id_a` string COMMENT 'a客户号', ... -- 其他字段保持原样 `col6` string COMMENT '备用6', `update_time` string COMMENT '更新时间' ) COMMENT '合规设备站点表' PARTITIONED BY ( `busi_date` string COMMENT '日分区', `device_type` string COMMENT '关系类型' -- 新增分区字段 ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LINES TERMINATED BY '\n' STORED AS parquet LOCATION '/your/path' -- 必须指定新存储路径，避免覆盖旧数据 TBLPROPERTIES ('creator'='qirp', 'created_date'='2025-02-28'); ``` #### 2. 数据迁移 使用动态分区插入数据： ```sql INSERT OVERWRITE TABLE dc_temp.ads_equp_relainfo_di_new PARTITION (busi_date, device_type) SELECT init_date, op_device, -- 这里不再select原device_type字段（已作为分区参数） -- client_id_a, ..., busi_date, -- 原分区字段 device_type -- 新增分区字段 FROM dc_temp.ads_equp_relainfo_di; -- 原表 ``` #### 3. 验证与切换 ```sql -- 验证数据量 SELECT COUNT(1) FROM dc_temp.ads_equp_relainfo_di_new; -- 重命名表（可选） ALTER TABLE dc_temp.ads_equp_relainfo_di RENAME TO ads_equp_relainfo_di_old; ALTER TABLE dc_temp.ads_equp_relainfo_di_new RENAME TO ads_equp_relainfo_di; ``` --- ### 三、注意事项 1. **存储路径分离**：新表必须使用新的HDFS路径，避免与旧表数据冲突 2. **分区目录结构**：新分区字段会产生嵌套目录，例如： ``` /your/path/busi_date=20231001/device_type=MOBILE ``` 3. **查询兼容性**：原有按`device_type`做WHERE条件的查询需要改为分区过滤 4. **外部表特性**：删除表不会删除数据文件，需手动清理旧数据 --- ### 四、补充说明 如果使用AWS Glue或Hive Metastore，建议通过`MSCK REPAIR TABLE`修复分区元数据： ```sql MSCK REPAIR TABLE dc_temp.ads_equp_relainfo_di_new; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值