hive的元数据表结构在在mysql中不存在的一种解决方案（MetaException）

最新推荐文章于 2022-12-09 10:45:00 发布
原创 最新推荐文章于 2022-12-09 10:45:00 发布 · 1.8k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

博客介绍了Hive 2.4.5版本与MySQL 5.6数据库的相关内容，通过执行schematool --dbType mysql --initSchema可解决相关问题，还提及执行结果及MySQL生成的表。

在这里插入图片描述
hive版本是2.4.5
数据库是 mysql5.6
执行
schematool --dbType mysql --initSchema
就会解决上面的问题
在这里插入图片描述
执行结果如上图

在这里插入图片描述
mysql生成的表

开发和面试必懂：Hive在开发和运维各种常见坑分析
大模型大数据攻城狮的专栏
08-16 1160
例如，通过数据预分区，在数据加载到 Hive 表前进行合理分区，降低查询时数据倾斜的可能性。为解决这些问题，可采取一系列措施，如优化数据分区策略、加强数据预处理工作、调整 Hive 查询逻辑等，以减轻或避免数据倾斜对 Hive 查询性能的影响。通过合理的数据流程设计，可以在数据湖中处理数据的更新和删除操作，然后将结果同步到数据仓库中，从而避开 Hive 在数据更新和删除方面的限制。另一方面，通过调整 Hive 的配置参数，如增加 Reducer 的数量，更细致地划分数据，从而减少数据倾斜的可能性。
大数据数据仓库 Hive (三)
鱼的博客
11-10 1005
大数据技术之Hive 一 Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL/SQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1）操作接口采用类SQL语法，提供快速开发的能力（
hive meta 元数据在mysql 中查不到列信息
jzy3711的博客
09-01 797
hive meta 元数据在mysql 中查不到列信息背景在hive中查询在mysql中查询解决：使用这个SQL原因分析现象分析解决思路两种sql区别 背景 hive 使用mysql作为元数据库，在hive中show create table 能够看到表结构，查询mysql，能查到表，却查不到列信息 在hive中查询 在mysql中查询 SQL:SELECT c.* FROM columns_v2 c,tbls t,dbs d WHERE c.CD_ID = t.TBL_ID AND t.DB_ID =
hive元数据的partitions表不存在
博客
07-01 1746
再load data的时候，日志报了这样一个错误 ERROR [main]: DataNucleus.Datastore (Log4JLogger.java: error(115)) - Error thrown executing ALTER TABLE `PARTITIONS` ADD COLUMN `TBL_ ID` BIGINT NULL : Table 'bigdata.partiti...
hive在mysql中总是不创建元数据库的解决办法
黄道婆的专栏
09-27 1098
hive在mysql中总是不创建元数据库的解决办法 这两天打算好好捣鼓捣鼓hive sql。遂搞了台centos搭环境，搭环境嘛，当然是怎么简单怎么来，怎么快怎么来。好不容易搭完了，发现hive在mysql中总是不创建元数据库。 按照既往掉坑的经验，怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑hadoop和hive的guava jar包版本不一致、怀疑mysql服务没启动、怀疑元数据的字符集编码集不对时区不对……都不对。 网上搜到的解决办法是手动执行初始化元数据的工作，问题.
sqoop 从mysql导入hive 时指定数据库报找不到该数据库
chuxiansha8199的博客
05-22 580
sqoop版本：1.46 sqoop的元数据库为hsqldb ，hive的元数据库是用的mysql 这里是列表文本首先请看我的导入语句： hadoop@data2:/software/hive-1.1.0-cdh5.9.0$ sqoop import --connect jdbc:mysq...
Hive元数据配置到MySQL
一无所知的世界，走下去才有惊喜。让我们永远相信美好的事情即将发生，成为比昨天更优秀的自己。
10-25 1005
Hive元数据配置到MySQL
小白的大数据入门路——Hive学习笔记
5akura's Blog
08-04 3671
文章目录一、Hive基本概念1.1、什么是Hive1.2、Hive的优缺点1.3、Hive架构原理1.4、Hive对比数据库二、Hive安装2.1、安装包准备2.2、相关配置和启动2.3、本地文件导入Hive2.3.1、Linux本地文件导入2.3.2、HDFS文件导入2.4、安装MySQL2.5、Hive的JDBC访问（了解）2.6、Hive常用交互命令2.7、Hive常见属性配置2.7.1、常用配置参数2.7.2、修改配置的方式三、Hive数据类型3.1、基本数据类型3.2、集合数据类型3.3、数据类型
【若泽大数据实战第十六天】Hive的安装部署 + 课程一个月总结
强悍de巨人
06-02 1427
前言：Hadoop的课程已经告一段落，基本上在零基础课程里不会再出现了，接下来的课程由若总来上，第一讲Have。复习前一个月的课程内容：1、LinuxLinux： 文件(*****) 权限(*****) 压缩/解压(*****) 软件安装: JDK/MySQL/Hadoop/...(*****)2、MySQLDDL/DML(GROUP BY/JOIN:是大数据处理中的超级杀手:shuffl...
2020.11.21(整合hive的metastore搭建2)
超可爱慕之
11-22 1079
上节课刻意的在什么外界都不用的情况下，spark自己就可以玩，外界不需要准备其它的，搭建环境，jvm都不需要，只要enableHiveSupport()，就可以包含的启动一个metastore，支持我们的DDL语句，等等操作，但是这节课主要讲贴近企业级的使用，在生产环境中是不会这么去玩的，强调一点：很多人学习架构的事情会很在意项目这件事情，但是如果学大数据，不要刻意的把项目放在心上，项目是被弱化的，大数据公司不可能启动了一个项目，为你准备了500台机器，然后把数据拷给你一份，几百T的数据，过两天又要启动一个
hadoop 元数据存储到mysql_hive的元数据存储在mysql后,报错的解决方法
weixin_39767645的博客
01-19 223
最近，因为工作的需要，一直在研究hadoop系统。许多分析工作都将通过hive来解决，所以特将所碰到的问题和解决方案，陆续整理出来，既做为回顾又供需要的朋友参考！因为要实现多人开发Hive，所以需要将hive的元数据存储在mysql。配置完成后，配置之前hive中创建的数据表在show tables时都不会出现，但hdfs数据文件都还在。当在hive中drop table 时如果报以下错时FAIL...
mysql jdbc在hive中没有安装导致的两个问题
什么最重要？算法！！
07-14 1131
问题–hive操作的时候抛出异常：hive> show databases; FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory NestedThrowables: java.lang.reflect.InvocationTarg
基于mysql的Hive数据仓库的搭建
lishuan182的博客
06-25 2531
Hive(蜜蜂） 一、建立在hadoop上的数据仓库基础架构 二、用来警醒数据提取和转换和加载（ETL）--Extract-Transform-Load 三、定义了简单的类SQL查询语言。SQL语句转移成M/R Job 然后在Hadoop上执行 数据存在数据仓库中，以主题存取。 四、Hive表其实就是HDFS的目录。 安装条件 Ø  安装在Hadoop集群上 Ø  安装 1)
安装hive后使用mysql作为数据库无法正常启动问题
lda_ming的专栏
09-08 2478
安装了mysql，并且成功创建hive用户和hive数据库后 下载hive apache-hive-0.13.1-bin.tar.gz 版本，解压，并配置hive-site.xml和hive-env.xml文件后，启动hive，发现hive无法启动，报错如下： Exception in thread "main" java.lang.RuntimeException: java.lang.Ru
sqoop从mysql到hive问题
weixin_42119153的博客
09-21 497
ClassNotFoundException问题大概会需要在sqoop的lib目录下导入三个包， hive-common-...jar ，commons-logging-...jar, hive-exec-..*.jar ..*为版本编号，jar包从hive的lib目录下copy即可 1、报错信息如下：ERROR tool.ImportTool: Import failed: java.io...
mysql hive安装教程_hive的安装（包括mysql）
weixin_32698563的博客
01-27 567
1.Hive 简介 1.1 在 hadoop 生态圈中属于数据仓库的角色。他能够管理 hadoop 中的数据，同时可以查询 hadoop 中的数据。 本质上讲， hive 是一个 SQL 解析引擎。 Hive 可以把 SQL 查询转换为 MapReduce 中的 job 来运行。 hive 有一套映射工具，可以把 SQL1.Hive简介1.1在hadoop生态圈中属于数据仓库的角色。他能够管理ha...
【Hive元数据】Hive元数据表结构
学习笔记
06-23 691
介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。 该表比较简单，但很重要。 如果该表出现问题，根本进入不了Hive-Cli。比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。DBS：该表存储Hive中所有数据库的基本信息，字段如下: DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(p
hive使用mysql数据库_Hive与MySQL数据库操作
weixin_30583711的博客
01-31 1800
基本通用的SQL语句Hive数据类型Hive所有的数据类型分为如下四种：列类型整形 INT，当数据范围超过INT时需要使用BIGINT字符串类型 可以使用单引号或双引号来指定，包含VARCHAR和CHAR两种数据类型。时间戳 支持传统的UNIX时间戳可选纳秒的精度日期 DATE小数点联合类型文字浮点类型十进制类型Null 缺少值通过特殊值 NULL 来表示复杂类型数组映射结构体创建数据库，删除数据...
hive文件无法导入Mysql
wuli_suan的博客
12-09 999
mysql:too more connections
缺失的MySQL5.7文件：Hive元数据初始化解决方案
在配置Hive时，如果遇到有关MySQL的文件缺失问题，通常是因为Hive需要依赖MySQL数据库来存储其元数据，特别是在hive-site.xml配置文件中指定了数据库类型为mysql。如果缺少必要的schema文件，则Hive在初始化元数据库...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值