Hive 生产中数据问题踩的坑

最新推荐文章于 2025-08-08 16:22:37 发布

原创最新推荐文章于 2025-08-08 16:22:37 发布 · 911 阅读

1 ·

CC 4.0 BY-SA版权

Hive 专栏收录该内容

8 篇文章

订阅专栏

本文讨论了使用 Sqoop 从 Oracle 迁移数据到 Hive 的过程中遇到的问题，包括数据错行、长数字数据重复等，并提供了相应的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

生产环境使用的时Sqoop 从Oracle 抽数

经历过错行----去掉一些特殊字符解决

大字段错行----https://blog.youkuaiyun.com/u012422198/article/details/84662691

长数字数据重复，特别是金融数据的各种号，长长的一串

当Hive上数据处理时，去重发现Hive比Oracle数据少很多。

因为Hive默认的长数字显示为科学技术法，把字段类型改为字符型。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

简单的心1

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

开源数据平台构建：从0到1搭建企业级数据平台系统

AI天才研究院

08-08

2128

数据平台作为业务数据的重要基础设施，其提供的数据服务和分析能力已成为公司各部门协同工作、高效沟通、提升工作效率的关键。然而，由于不同行业领域需求的差异性、不同数据规模和复杂度等多种因素的影响，制造出具有高质量、低延迟、易扩展、可靠、安全、易用的数据平台也面临着巨大的挑战。近年来，随着云计算、容器技术和微服务架构的普及，基于开源解决方案构建数据平台这一需求越来越受到社会的广泛关注，数据平台构建成本越来越低，市场竞争日益激烈。

Hive遇到的坑点

csdn_learner7的博客

03-07

2310

1.登录hive客户端，查询表信息出现以下错误 hive (hive_db)> select * from star; FAILED: SemanticException Unable to determine if hdfs://bigdata11:50090/user/hive/warehouse/hive_db.db/star is encrypted: java.lang.Il...

参与评论您还未登录，请先登录后发表或查看评论

hive开发中常遇到的坑

08-13

hive 下dual表，Lock，explain，数据类型，开发常见的问题

记一次hive中遇到的坑

z3jjlzt的博客

01-05

1210

0x01 今天，由于公司要进行新老数据仓库的迁移，于是顺便接手了其中一部分的工作，其实大部分迁移工作都比较简单，就是把从ods层-dw层-dm层-sh展示层中涉及到旧仓库的表替换成新仓库的表，并且检查其中字段的差异性，并进行相应的操作。于是撸起袖子开工。 0x02 前期的进展很顺利，很快就完成了几张表的迁移，心想着按这个进度，不到一个小时就能完成了。Orz 在进行到第五张表的迁

浮点型数据踩坑记录

weixing2580的博客

05-13

336

浮点型数据踩坑记录问题描述产生原因问题描述运行以下程序. for (float i = 0; i < 1; i += 0.1) { System.out.println(i); } // 运行结果在0.6以后的数字发生了不规则的变化. 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.70000005 0.8000001 0.9000001 产生原...

使用hive数据仓库中遇到的问题

weixin_30826095的博客

11-03

525

1. 原因：hive版本过高。我用的是3.1.1最高版本，所以报此错。转载于:https://www.cnblogs.com/wl2017/p/9900113.html

分享一次hive跨集群数据同步采坑经验 - 细节是魔鬼！

明哥的IT随笔

01-11

1701

大数据集群内部都有节点级别和机架级别的容错机制（存储层对应的就是传统的三副本或纠删码机制），但对于一些数据安全性要求更改的场景，就需要做跨集群的数据同步了，比如在金融行业典型的两地三中心场...

hive transform Python采坑全纪录

xq_nbu的博客

03-14

3491

最近在搞一些数据挖掘的东西。之前写的Python代码要放到hive上运行。记录一下踩的坑。 1.add、transform权限问题。找了半天没有中文解决方案，只有英语解决方案，顺着找到了官方文档（英文）：SQL Standard Based Hive Authorizationhttps://cwiki.apache.org/confluence/display/Hive/SQL+Standard+Based+Hive+Authorization#SQLStandardBasedHiveAut..

3年AI智能风控架构经验：系统设计中最容易踩的8个坑

最新发布

AI开发架构师

08-08

473

作为一名深耕AI智能风控领域3年的架构师，我曾在项目中踩过无数“坑”——比如因数据重复导致模型误判百万级交易、因实时性不足让欺诈分子逃之夭夭、因可解释性缺失被监管部门要求整改。AI风控架构不是“模型+数据库”的简单堆砌，而是一套需要平衡业务、数据、模型、工程的复杂系统。本文将结合真实项目案例，揭示AI风控架构设计中最容易踩的8个“致命陷阱”，并给出可落地的解决方案。无论你是刚入门的风控工程师，还是正在优化系统的架构师，都能从这些经验中找到避坑的关键。

大数据环境配置-Hadoop、Kafka、Hive、redis、Navicat

m0_72791092的博客

07-15

1168

Hive使用中常见问题汇总

L_turn的博客

11-30

479

Hive使用中常见问题汇总面试中面试官经常会问软件使用中有哪些问题，常常被问的一脸懵逼，在此，做个记录，将平时遇到的问题做个汇总。 1 ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=anonymous,...

hive 生产问题汇总

KANGBboy的博客

12-27

1637

1、全转decimal相加，不然会被强制转decail，如result2：两个declimal计算不会造成精度丢失， double和decimal计算可能造成精度缺失，hive中double和decimal两个类型计算会返回double，有可能造成精度缺失。而在向量化查询执行中，每次处理包含多行记录的一批数据，每一批数据中的每一列都会被存储为一个向量（一个原始数据类型的数组），这就极大地减少了执行过程中的方法调用、反序列化和不必要的if-else操作，大大减少CPU的使用时间。

hive所遇到的坑（持续更新）

大数据的菜????

01-10

1225

1.启动元数据报错无法进入hive 解决方法修改hive-site.xml  <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&characterEncod...

Hive生产中常用的一些操作

Java大数据

07-18

219

一，Create Table 1，拷贝表结构，不拷贝表数据 create table newTable like oldTable; 2,Create Table As Select (CTAS) create table newTable as select * from table 二，Alter Table 1,修改表名 Alter Table oldTable rename to ne...

hive - 开发遇到的问题与解决系列

a123147abc的博客

07-18

663

hive - 乱码

Hive生产场景的十大经验总结

weixin_45017098的博客

06-26

437

先转换为Hive内部表再进行删除，注意external的大小写形式。

设置hive表生命周期并自动进行数据清理

weixin_61938673的博客

01-08

3711

数据生命周期管理，通常我们在写数仓设计时候，就对表进行规划，在命名规则上对于一些业务即可做一些标识要求，例如临时表增加"_tmp"的标识，另外在ETL开发过程中，也可以对分区数据做清理的要求，例如数据写入完成后，对临时表进行drop table操作，对历史N天前分区数据进行drop partition 的操作。最后实现部分可以用脚本进行处理，也可以写个管理页面进行设置和定时清理的动作。

第十六章 Hive生产环境优化&数据倾斜解决方案

qq_27924553的博客

03-02

1866

架构师专题之Hive生产环境优化

hive之生产环境常用sql语法

君永夜

03-11

721

目录 1 hive配置参数查询以及修改 2 生产常用基本字段类型 3 DDL语法 4 DML语法 5 hive自带函数详解 1 hive配置参数查询以及修改 1.1hive日志文件存储目录修改默认hive运行日志配置在HIVE_HOME/conf/hive-log4j.properties.template，配置参数为hive.log.dir=${java.io.tmpdi...

请说说你在搭建环境的时候踩过哪些坑？应该注意哪些点

06-24

5.**安装过程中的常见问题**：-**JAVA_HOME问题**：即使系统环境变量已设置，某些服务（如ClouderaManager）仍可能找不到，需在服务配置文件中显式指定（引用[4]）。-**端口冲突**：Hadoop组件使用大量端口，安装前...