hive-0.11错误

最新推荐文章于 2025-02-12 18:45:16 发布
原创 最新推荐文章于 2025-02-12 18:45:16 发布 · 2.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

安装hive-0.11，执行ql，报如下错误：

2013-08-09 10:23:08,854 ERROR metastore.RetryingHMSHandler (RetryingHMSHandler.java:invoke(134)) - NoSuchObjectException(message:partition values=[2013-08-03])
        at org.apache.hadoop.hive.metastore.ObjectStore.getPartitionWithAuth(ObjectStore.java:1424)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hive.metastore.RetryingRawStore.invoke(RetryingRawStore.java:111)
        at com.sun.proxy.$Proxy8.getPartitionWithAuth(Unknown Source)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.get_partition_with_auth(HiveMetaStore.java:2014)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:102)
        at com.sun.proxy.$Proxy9.get_partition_with_auth(Unknown Source)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getPartitionWithAuthInfo(HiveMetaStoreClient.java:822)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:74)
        at com.sun.proxy.$Proxy10.getPartitionWithAuthInfo(Unknown Source)
        at org.apache.hadoop.hive.ql.metadata.Hive.getPartition(Hive.java:1580)
        at org.apache.hadoop.hive.ql.metadata.Hive.getPartition(Hive.java:1543)
                                                                                                               


原因：

hive目前的bug  <.._..>!

解决方案：暂无

NoSuchObjectException(message:default.simple table not found) 问题解决【SOLVED】
luosayiran的博客
03-26 2319
在使用sqoop用hcatalog从mysql导数据到hive时，我又碰到一个问题： NoSuchObjectException(message:default.simple table not found)  具体的trace是 NoSuchObjectException(message:default.bam_webapp_statistics table not fou
HIve讲解（详细）
Ele_sorriu的博客
12-17 2万+
Hive 一、Hive基本概念 1.1、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复...
配置Hive2.1.0，第一次使用出现（e.g. ?createDatabaseIfNotExist=true for mysql)
FullStackDeveloper0的博客
11-07 2102
配置好hive，第一次使用时，可能会出现以下错误：   MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType …) to create the schema. If needed, don’t for...
NoSuchObjectException(message:ods_db.event table not found)
鸭梨的博客
01-03 870
hudi同步数据报错 org.apache.hudi.hive.HoodieHiveSyncException: Failed to get update last commit time synced to 20210103154432 at org.apache.hudi.hive.HoodieHiveClient.updateLastCommitTimeSynced(HoodieHiveClient.java:658) at org.apache.hudi.hive.HiveSyncTool.sy
Spark动态分区写入数据卡死metastore源码分析
Sword_Zhao的博客
02-12 639
在一个周五的18点10分，突然收到大量任务告警信息，离线平台的所有Spark任务都无法执行，报错信息显示无法连接Hive MetaStore，登陆Hive MetaStore机器查看日志，大量的get_table和get_partition报错信息，查看metatore机器的内存使用率也正常，对应的数据库也没有大查询阻塞，因此一时间也无法定位具体问题原因，只能先将metastore重启。重启后任务陆续重启，重启后可以正常执行，但是到19点26，metastore再次进入卡死状态。
Hive Metastore Thrift Server Partition压力测试
yukangkk的技术博客
06-10 5481
测试环境: 虚拟机10.1.77.84 四核Intel(R) Xeon(R) CPU E5649  @ 2.53GHz，8G内存 起单台metastore server JVM args : -Xmx7000m -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC 测试表Schema: table name: metastore_s
【Hive】Hive 2.3.2 安装
人生所向，皆是美好
12-31 506
文章目录1. 内嵌 Derby 版本1.1 下载安装包1.2 解压安装包1.3 配置环境变量1.4 初始化元数据1.5 启动hive，进入hive客户端1.6 derby方式缺点2. 外置 MySQL 版本1. 内嵌 Derby 版本2.1 下载安装包2.2 解压安装包2.3 配置环境变量2.4 安装mysql数据库2.5 修改配置文件3. Linux RPM 方式安装 MySQL3.1 检查以前...
Coin-Hive Blocker-crx插件
04-01
用于太敏感的CPU扫描仪的错误修复 - CoinhiveBlocker溢价 - 服务器呈现可疑页面的自动分析（Premium） - 更广泛的已知矿工域（Premium） - Chrome API（PREMIUM）无法阻止的矿工添加指南*更新0.12 - 新UI - Bug修复 ...
大数据技术之Hive入门
weixin_42137586的博客
12-17 543
大数据技术之Hive入门安装和配置前提要求安装稳定版本的Hive使用源代码构建Hive在master分支上编译Hive在branch-1分支上编译Hive在Hadoop 0.20上编译Hive到0.13之前在Hadoop 0.23上编译Hive到0.13之前运行Hive运行Hive CLI运行HiveServer2和Beeline运行HCatalog运行WebHCat（Templeton）配置管理...
Hive官方使用手册——Hive CLI
三米学习笔记杂货铺
03-07 3642
本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Cli#LanguageManualCli-DeprecationinfavorofBeelineCLIHive官方使用手册——Hive CLI为了支持Beeline CLI弃用当前的方式HiveServer2 拥有自己的CLI叫Beeli...
大数据问题排查系列 - HIVE踩坑记-HIVE-15642
热门推荐
明哥的IT随笔
08-24 2万+
前言大家好，我是明哥！本片博文是“大数据线上问题排查系列”大类别之一，讲述前段时间我司某产品在某券商遇到的一个问题及解决方案，其背后涉及到 hive 的一个 BUG,在 hive 3.0 ...
java内存单元,配置单元 - 内存不足异常 - Java堆空间
weixin_28903391的博客
02-16 119
I am running a Hive insert on top of parquet files(created using Spark). Hive insert is using partitioned by clause. But at the end when the screen is printing messages like "Loading partition {=xyz, ...
ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
飞翔的牛
09-26 4859
ERROR : Failed with exception Exception when loading 1 in table dwd_loan_repay_plan_001 with loadPath=hdfs://nameservice1/tmp/hive-staging/.staging_hive_2019-09-26_16-12-25_276_6266528423926362203-107...
hive 简单操作和错误
风行天下
08-17 6826
[jifeng@jifeng02 ~]$ hive Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties hive> create database test_hive; OK
hive删除表超时报错
hongyonggan
04-08 2717
文章目录删除表报错解决方案问题排查 hive 删除大分区表（多级分区）时遇到超时报错； 删除表报错 metastore.ObjectStore: Falling back to ORM path due to direct SQL failure (this is not an error): Timeout when executing method: drop_table_with_environment_context; 605198ms exceeds 600000ms at org.apache.
HiveServer2服务端配置与启动
抛物线的博客
04-23 1710
在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2， 客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveS...
Hive 查看partition 以及msck 修复分区
07-23 690
# check table 的 partition hive> show partitions table_name ; 如果是外部表 ，不小心把表给删除了 ，可以适用下命令重新关联表和数据 [MSCK REPAIR TABLE] 全量修复分区 hive> msck repair table table_name; ...
Hive之MetaStore服务启动过程
weixin_33802505的博客
03-17 970
2019独角兽企业重金招聘Python工程师标准>>> ...
hive报错Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE)
TURING.DT
05-12 5924
业务发现跑hive任务总是一次成功，第二次无法找到库，需要重新进行hive，查看HiveMetaStore日志报错： 2016-05-11 11:30:32,912 ERROR [pool-3-thread-178]: metastore.RetryingHMSHandler (RetryingHMSHandler.java:invoke(155)) - Retrying HMSHandle
hive中decimal
最新发布
07-30
<think>嗯，用户需要了解Hive中decimal类型的使用指南。根据之前的引用内容，我已经掌握了decimal类型的基本概念和版本差异，现在需要系统性地整理使用要点。 用户可能正在处理财务数据或精确计算场景，因为decimal通常用于需要高精度计算的领域。考虑到Hive版本差异较大，首先要明确不同版本的关键区别：0.13之前固定38位精度，之后支持自定义精度和比例。这个点必须前置说明，避免用户踩坑。 关于使用指南，应该从定义方式切入。引用[1]提到未指定精度时默认decimal(10,0)，引用[2]则强调Hive与MySQL定义方式的差异——这点很重要，很多用户会混淆。需要举例说明CREATE TABLE时的三种定义变体：完全默认、只指定precision、完整指定precision和scale。 计算特性部分要突出Java BigDecimal的不可变性，所有运算都会返回新对象。这里可以关联到UDF支持情况，常规数学函数和UDF都能无缝处理decimal，但要注意隐式转换规则。特别是整数除法容易出错的问题，必须单独提醒。 存储格式方面，科学计数法和普通数字的兼容性需要说明，不过用户更关心的是实际存储效率。decimal的存储空间比float大但精度有保障，这个权衡要讲清楚。另外外部数据导入时的格式兼容问题也很关键，比如文本文件中可以混合使用两种表示法。 最后是避坑指南。根据引用[2]，Hive的m-n整数位定义与MySQL不同，这点必须用对比表格强调。还要补充实际案例，比如精算场景中9位小数位不足时的解决方案。性能建议部分需要说明精度设置过高的代价，以及比较运算的优化策略。 相关问题的设计要覆盖用户可能的后续需求：精度调整、计算优化、异常处理都是常见痛点。特别是版本迁移问题，很多用户会从旧版升级到0.13+，需要特别关注精度定义方式变化带来的影响。</think>以下是 Hive `DECIMAL` 类型的使用指南，结合关键特性和注意事项： --- ### **一、定义与语法** 1. **基本格式** ```sql DECIMAL(precision, scale) -- 显式定义精度和小数位 DECIMAL -- 隐式定义，等价于 DECIMAL(10,0) ``` - **precision**：总位数（1-38），包含整数位和小数位。 - **scale**：小数位数（0 ≤ scale ≤ precision）。 2. **示例** ```sql CREATE TABLE financial_data ( amount DECIMAL, -- 默认 DECIMAL(10,0)，即整数 interest DECIMAL(10,4) -- 总位数10，小数位4（整数位6位） ); ``` --- ### **二、核心特性** 1. **高精度计算** 基于 Java `BigDecimal`，支持精确的加减乘除运算，避免浮点数误差。 **示例**： ```sql SELECT 0.1 * 3; -- 浮点结果：0.30000000000000004 SELECT CAST(0.1 AS DECIMAL(10,2)) * 3; -- 精确结果：0.30 ``` 2. **运算兼容性** 支持所有数学 UDF（如 `ROUND()`、`FLOOR()`）和运算符（`+`, `-`, `*`, `/`）。 3. **存储格式灵活** 兼容科学计数法（`4.004E+3`）和普通数字（`4004`），写入/读取时自动转换[^1]。 --- ### **三、版本差异** | **Hive 版本** | **行为** | |---------------|----------| | **0.11-0.12** | 固定精度 38 位，小数位需通过 `CAST` 调整 | | **0.13+** | 支持自定义精度（`DECIMAL(p,s)`） | --- ### **四、使用场景与技巧** 1. **财务计算** 需精确小数位的场景（如利息、税率）： ```sql -- 计算含税金额（税率5.5%） SELECT price * CAST(1.055 AS DECIMAL(10,3)) FROM sales; ``` 2. **避免整数除法截断** 显式转换为 `DECIMAL` 再运算： ```sql SELECT revenue / CAST(quantity AS DECIMAL(10,2)) -- 保留小数结果 FROM transactions; ``` 3. **精度与存储优化** - **最小化精度**：`DECIMAL(5,2)` 比 `DECIMAL(38,2)` 存储效率更高。 - **避免过度精度**：过大的精度会降低计算性能。 --- ### **五、常见误区** 1. **与 MySQL 的区别** Hive 中 `DECIMAL(m,n)` 的整数位是 **`m-n`** 位（如 `DECIMAL(9,3)` → 整数位6位），而 MySQL 的 `DECIMAL(m,n)` 整数位是 **`m`** 位[^2]。 2. **隐式转换风险** 混合 `DECIMAL` 与浮点数时，Hive 可能隐式转为 `DOUBLE` 导致精度丢失： ```sql -- 错误示例（丢失精度） SELECT amount * 1.05 FROM accounts; -- 正确做法（显式转换） SELECT amount * CAST(1.05 AS DECIMAL(10,2)) FROM accounts; ``` 3. **溢出处理** 超过定义精度的计算会返回 `NULL` 并警告： ```sql SELECT CAST(999 AS DECIMAL(3,0)) * 2; -- 溢出，返回NULL ``` --- ### **六、最佳实践** 1. **明确指定精度** 始终显式定义 `DECIMAL(p,s)`，避免依赖默认值（`DECIMAL(10,0)`）。 2. **ETL 数据清洗** 导入文本数据时，确保字符串格式兼容 `DECIMAL`（如 `"123.45"` 或 `"1.234E2"`）。 3. **比较运算优化** 对 `DECIMAL` 列创建分区或分桶可加速 `WHERE` 条件过滤。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值