hive常见问题

最新推荐文章于 2024-01-24 15:02:04 发布
原创 最新推荐文章于 2024-01-24 15:02:04 发布 · 239 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #big data

本文探讨了配置Hive时遇到的三个问题：1）启动Hive时的SessionHiveMetaStoreClient失败；2）元数据服务未启动导致登录问题；3）中文分区名引发的混乱与删除难题。提供了解决方案和注意事项。

1: FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

学hbase的时候, 有一个hbase和mr 进行交互的配置需要配置hadoop-env.sh文件
在这里插入图片描述
我发现配置了这个文件以后,再启动hive查看数据的时候,就会出现上面的问题,将它进行取消就行了

第二种可能出现的问题: 配置了元数据登陆的方式,但是没有启动hive的 metastore 服务
解决:启动服务

bin/hive --service metastore

  1. 学习hive分区的时候,发现对于分区的名字不能为中文,当为中文时,分区的信息会混乱,
    例如:
    在这里插入图片描述
    并且出现这种情况的时候,这个表就无法删除了,删除会出现GC 内存错误

解决: 暂时还没有解决方案, 有人解决的话可以给我说一下, 先谢谢啦!!

Hive从入门到精通，常见问题知识点
一个写湿的程序猿
12-25 1662
Hive从入门到精通（全） Hive大体可以分为三大部分， 基础，调优，源码。 常见问题知识点 1、基础 基础部分主要是：Hive的一些概念、DDL数据定义、DML数据操作、hive函数 这部分重点掌握：主要是DDL （建表语句、分区、分桶），DML（数据的操作、SQL语句），函数（基本函数、开窗、行列转行） Hive最重要的还是SQL，就是实操，说白了就是能用SQL完成对应的需求，一般常见的报表类指标都有现成的SQL解决方案。 【Hive-基础】优缺点，架构原理，与数据库的差异 *【Hive-基础】基本数
Hive出现的问题汇总
Aime123456789的博客
08-08 2895
1.出现问题的前提条件：我在Hive中创建一个表然后想向表中插入数据，每次插入数据都会出现如下异常； java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1533616024453_0004 to YARN : Application applicat...
Hive学习之常见问题(二)
程序员小李的博客
04-10 474
Hive 表进行关联查询如何解决长尾和数据倾斜问题 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导...
hive学习-问题解答一
weixin_42575593的博客
08-14 207
1.简述Hive工作原理 答： 流程步骤为： 用户提交查询等任务给Driver。 编译器获得该用户的任务Plan。 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查...
【大数据技术】#实战分析#hive 跑任务时出现的问题，一直困扰我啊，其实数据量很小，也根本不会出现数据倾斜
u011762522的博客
07-02 829
大家好，如下图，我用hive跑分桶表时出现一下错误，reduce跑到100%时又回退了，真的不知啥情况了，求助各位了
精选资源
Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践
11-07
Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践 Hive是一种基于Hadoop的数据仓库工具，用于对大规模数据进行处理和分析。在大数据时代，Hive的应用非常广泛，本文将从Hive优化案例、Hive数据处理...
Hive常见问题维护手册V1.01
08-04
当遇到问题时，首先查看 `hive.log`，这是默认的通用日志文件，记录了 Hive Server 的操作和错误信息。如果问题涉及到特定查询，可能需要查看 `hive-exec.log`，它记录了查询执行的详细步骤。 【Hive_LOG_00002】 ...
Hive常见问题汇总
最新发布
SuperBoy_Liang的博客
01-24 909
order by：order by是将数据按照指定的列排序输出，并且会改变数据的分区。cluster by：cluster by是对表进行分桶，每个分桶内的数据按照指定的列排序，并且会根据指定的列生成对应的分区文件。sort by：sort by是将数据按照指定的列排序输出，但不改变数据的分区，也就是说，sort by只保证每个分区内的数据有序，但不保证分区之间的顺序。增加Reduce数量：对于数据倾斜比较严重的情况，可以增加Reduce任务的数量，将数据划分到更多的节点上处理，从而减轻单个节点的负担。
Hue 常见问题解决方案，大数据平台的hue/hive常见问题总结 免费下载
03-09
本文将围绕“Hue常见问题解决方案”这一主题，详细阐述Hue与Hive在大数据平台中可能遇到的问题以及相应的解决策略。 首先，我们来了解Hue的基本功能。Hue是Cloudera公司开发的一款开源Web应用程序，它提供了一个...
hive的问题汇总以及问题解析
qq_42078469的博客
11-02 732
1.Hive内部表与外部表的区别 未被external修饰的是内部表，被external修饰的是外部表 区别： （1）内部表数据由hive自身管理，外部表数据由HDFS管理 （2）内部表数据存储的位置默认是 （/user/hive/warehouse）外部表数据的存储位置由自己指定 （3）删除内部表会直接删除元数据以及存储数据；删除外部表仅仅会删除元数据 HDFS上的文件不会被删除 （4）对外部表...
大数据技术之Hive 学习遇到 常见错误及解决方案
牛牛
06-09 1005
1）基本语法 2）案例实操（1）查看下面这条语句的执行计划没有生成MR任务的 有生成MR任务的 （2）查看详细执行计划 10.2 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老
hive中常见的问题以及解决方案
lxc950318
03-10 2232
hive中常见的问题以及解决方案 1.hive表关联查询，如何解决数据倾斜问题？ 倾斜原因：map输出数据按照key的hash分配到reduce中区，由于key分布不均匀，或者业务数据本身问题等造成reduce上的数据量差异过大 解决方案： （1）参数调节 hive.map.aggr = true hive.groupby.skuwindata = true 有数据倾斜的时候进行负载均衡，当选项设...
Hive常见问题及处理方法
大数据hive教程详解
01-11 1738
Hive是什么 Hive是基于Hadoop的一个数据仓库工具，应该是整个Hadoop系统中最常使用的一个功能组件，通过内部的关系型元数据库，将存储在hdfs中的文件有效的管理起来，并提供类SQL的数据库操作语言，满足大数据集的统计分析工作。关于Hive的架构原理和基本操作部分. Hive操作中常见的问题及处理方法 1）如何在脚本中嵌入hive操作语句 命令：hive -e “语句块” 案...
Hive学习之常见问题
程序员小李的博客
04-09 1311
HiveSQL 的原理：我们都知道 HiveSQL 会被翻译成 MapReduce 任务执行，那么一条 SQL 是如何翻译成MapReduce 的？ 详细！ 需要多看几遍才能看懂 https://www.aboutyun.com/thread-20461-1-1.html Hive 和普通关系型数据库有什么区别？ 1.查询语言不同：hive是hql语言，mysql是sql语句； 2.数据存储位置不...
hive解决数据倾斜
weixin_45858664的博客
08-21 463
Hive性能调优通常建议使用以下属性： hive.optimize.reducededuplication.min.reducer=4 hive.optimize.reducededuplication=true hive.merge.mapfiles=true hive.merge.mapredfiles=false hive.merge.smallfiles.avgsize=16000000 hive.merge.size.per.task=256000000 hive.merge.sparkfiles
Hive数据倾斜解决方案
承缘丶
07-14 385
转载专用： 读到了好文章，用于分享收藏，侵权删。 转发自大佬：五分钟学大数据，https://yuanmore.blog.youkuaiyun.com/ 版权声明：本文为优快云博主「五分钟学大数据」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.youkuaiyun.com/helloHbulie/article/details/116117518 数据倾斜问题剖析 数据倾斜是分布式系.
Hive中常见的错误
象在舞的技术专栏
07-01 2045
        小编用的Cloudera Manager搭建的集群，因为服务器升级，集群停掉之后再启动的时候遇到了各种问题。Hive是常用的大数据组件，在此小编特意整理了Hive在使用过程中常见的错误如下，以供大家参考~      由于造成错误的原因是多方面的，下面列举的这些可能解决过小编遇到过的错误，但不一定对读者遇到的错误有效，特此声明。1、执行/usr/bin/hive命令进入hive时遇到...
hive启动不成功原因
热门推荐
weixin_65195823的博客
03-10 1万+
简单介绍了hive启动不成功原因，而Hive是一个基于Hadoop的数据仓库框架，它使用SQL语句读、写和管理大型分布式数据集。Hive可以将SQL语句转化为MapReduce (或Spark、 Tez) 任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。
大数据Hive搭建部署常见报错信息原因
L4342940的博客
05-18 2366
部分报错信息原因 目录： 1.命令： bin/hive 2.命令：schematool-initSchema-dbType mysql -verbose 3. Linux上的MySQL无法实现与外部连接 4.命令：insert into test values(111,jkjkj); 5.命令：bin/beeline -u jdbc:hive2://master:10000 -n root 6.命令：bin/schematool -dbType derby -initSchema 7.命
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值