Hive访问元数据的两种方式

最新推荐文章于 2024-06-14 14:45:00 发布

原创

最新推荐文章于 2024-06-14 14:45:00 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #数据仓库

本文介绍了Hive元数据的两种访问方式：直连模式和代理模式。直连模式下，通过JDBC直接连接MySQL获取元数据，需要配置数据库连接信息并确保MySQL驱动。而代理模式则通过HiveMetaStore服务，需设置`hive.metastore.uris`并确保服务先启动。理解这两种模式对于Hive的管理和使用至关重要。

1. 直连模式

使用JDBC的方式直接去MySQL中读取元数据

需要两个条件：

$HIVE_HOME/lib下MySQL的驱动jar包
在hive-site.xml中配置了数据库连接的url、username、password等信息

	<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://qianfeng01:3306/hive?createDatabaseIfNotExist=true

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

不想写代码的厨子不是好司机

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用元数据服务的方式访问Hive---大数据之Hive工作笔记0009

添柴程序猿的专栏

07-09

567

之前我们都是使用本地连接的方式来进行连接hive但是这种方式只有我们本机可以使用,如果有别的服务想来连接hive的话，那么就连接不上了。如果我们想让别的服务也能使hive的话，我们需要在本机启动一个hive的服务。我启动hive的服务，我们首先要做一下配置。可以按照上面的步骤进行配置。首先我们找到.opt\module\hive\conf\hive-site.xml文件找到这个配置文件以后，然后把上面的配置复制过来，放到最后。可以看到这个服务的端口是9083。配置以后我们去查看一下。cat conf

使用元数据服务的方式访问Hive（悲观锁和乐观锁）

weixin_45425054的博客

01-06

980

使用元数据服务的方式访问Hive 悲观锁：很悲观的认为我在修改数据的时候另外一个线程可能并发修改数据，所以在我修改数据的时候直接对数据加锁，别人只能等我修改完才能继续修改。乐观锁：乐观的面对上面那个问题，但是更改数据时会判断有没有人同时对我要更改的数据更改，有几种方法如：对每次修改数据加上版本号。如果有人提前修改了数据，则退回我的申请，重新修改。一：首先我们明白为什么要配置元数据服务的方式来访问Hive。 Hive默认使用的存储元数据 的数据库为Derby，它使用的是悲观锁。而在我们使用Mysql来放元

参与评论您还未登录，请先登录后发表或查看评论

Hive元数据信息获取

爱是与世界平行

03-06

2224

放到mysql中存储，mysql中默认表被创建的时候用的是默认的字符集(latin1)，所以会出现中文乱码。（2）修改hive-site.xml中Hive读取元数据的编码（注意原先是否配置过）注意的是，之前创建的表的元数据已经损坏了，所以无法恢复中文乱码，只能重新创建表。

Hive元数据库介绍及信息查看

热门推荐

野生大头鱼

06-14

1万+

一、概念Hive中有两类数据：表数据和元数据。和关系型数据库一样，元数据可以看做是描述数据的数据，包括1.hive表的数据库名、表名、字段名称与类型、分区字段与类型 2.表及分区的属性、存放位置等 元数据存储路径和內表一样，分为本地和远程，可通过hive-site.xml文件设置二、元数据库信息元数据库中存在以下这些表： 元数据ER图 元数据表结构详解看参见lxw的文章三、如何查看元数据库

hive-查询元数据

zhong8732134的专栏

01-10

3658

import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import java.sql.Statement; import java.sql.DriverManager; public class HiveJdbcClient {

Hive--元数据--探查

qq_46893497的博客

11-21

2514

1、元数据功能保存了Hive中所有关键性的数据存储了所有数据库、表、所有字段、分隔符等信息存储了所有表与HDFS文件的映射的信息 2、元数据存储存储位置第一种：默认的存储位置：Hive自带的Derby数据库存在问题：由于derby数据库以文件的形式存在，不能启动多个实例，真正在工作中不用derby来存储元数据 第二种：企业中实际的开发环境，都是将Hive元数据存储在关系型数据库中：常用MySQL 3、实现：将Hive元数据存储在MySQL step1：安装MySQL step2：修改H

spark读取hive数据的两种方式

qq_42213403的博客

06-04

1万+

spark读取hive数据常用的有两种方式一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.

Hive元数据管理

凉茶铺的博客

10-16

1928

介绍了hive的Metastore、HiveServer2、HCatalog三个启动器

数据仓库Hive元数据及查询操作

wslyy124728的博客

06-04

808

ALL和DISTINCT子句表示是否返回重复行，默认是ALL，返回所有匹配行。仅仅获取元数据而不操作的话，使用hive-metastore组件更加合适。hive-metastore，通过访问metastore服务实现。hive-metastore通过面向对象的方式访问数据库数据。Hive元数据存储在RDBMS中，有三种存储模式。元数据存储在Derby数据库，是默认的存储方式。远程服务模式，使用远程元数据服务访问数据库。2.2 Hive元数据的定义与操作存储。单用户模式，使用内置Derby数据库。

hive元数据库rds查询

盛源的博客

01-18

1080

查询元数据信息

Hive元数据库操作

05-21

Hive运维中通常会用到操作元数据，这里提供了常用的sql语句

hadoop-17-hive数据库元数据查看

weixin_34087503的博客

11-10

4145

hadoop-17-hive数据库元数据查看存在本地的mysql中； user001用户中： > mysql -uhive -phive mysql> use hive; mysql> desc COLUMNS_V2; # 这个表是用来存放注释的；学习了：http://www.cnblogs.com/blueren/archive/2011/06/29/sir_001.h...

数据仓库及应用——元数据概念与表的结构

Suniiny的博客

05-21

339

元数据是描述真实数据的数据包括Hive表的数据库名、表名、字段名与类型等Hive元数据存储在RDBMS中，有三种存储模式单用户模式，使用内置Derby数据库多用户模式，使用本地MySQL数据库远程服务模式，使用远程元数据服务访问数据库元数据存储在Derby数据库，是默认的存储方式单用户存储模式优缺点优点：Derby小巧易用，安装方便缺点在同一数据库目录下只能有一个Hive客户端使用无法实现元数据共享单用户存储模式适合在测试环境中使用。

查看HIVE元数据存储

Geonaut的博客

05-31

651

我们可以使用HIVE的DESCRIBE命令来查看数据表的详细信息，包括列的名称、类型等。下面是一个示例代码：其中，table_name是要查看的数据表的名称。执行以上命令后，将返回数据表的详细信息。

Hive元数据及查询操作

qq_69558236的博客

06-14

1633

Hive元数据定义和操作是指在Hive中定义和操作数据表的元数据信息。元数据是描述数据的数据，它包括数据的结构、格式、位置等信息。通过Hive元数据定义和操作，我们可以更方便地管理和查询数据。在Hive中，可以使用HiveQL语言来定义和操作元数据。HiveQL是类似于SQL的查询语言，它允许我们使用类似于SQL的语法来操作Hive中的数据。下面是一些常用的Hive元数据定义和操作的命令：- CREATE DATABASE：用于创建数据库。- USE DATABASE：用于切换当前使用的数据库。

HIVE-元数据存储

b_oyidyt的博客

08-22

1万+

HIVE-元数据存储 元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。 1. 元数据存储介质根据元数据存储的介质不同，分为下面两个版本，其中...

通过hive元数据查询hive指定库和表的总条数

Davina_yu的博客

06-28

1692

查看ods层的总表数。查看ods库的总条数。查看ods库的总条数。查看ods库的总条数。

Hive的元数据信息

什么最重要？算法！！

11-08

5264

Hive将表中的元数据信息存储在数据库中，如derby(自带的)、Mysql(实际工作中配置的)。通过Mysql进行示例说明: Hive数据仓库中： MySql数据库中存储的相应元数据信息: Navicate（远程连接的MySql）对应的元数据信息:

在Mysql中获取hive表的元数据信息

AnameJL的博客

08-15

1762

获取hive的元数据信息可以通过hive的元数据库(通常为Msyql)获得,通过sql的关联即可。具体内容如下sql所示，这里就不作详解了。 SELECT t2.`NAME` `database_name`, -- 库名 t2.`DESC` `database_comment`, -- 库注释 t1.`TBL_NAME` `table_name`, -- 表名 t3.`PARAM_VALUE` `database_commet`, -- 表注释 FROM_UNIXTIME(t

Impala 和 Hive 元数据一致