presto集成Kerberos的hive

最新推荐文章于 2023-06-22 21:53:03 发布

原创

最新推荐文章于 2023-06-22 21:53:03 发布 · 673 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive

本文详细介绍了Presto的安装步骤，包括下载安装包、解压配置、创建目录结构、配置文件、数据源、客户端设置、服务启动和测试。此外，还特别讲解了如何集成Kerberos，包括生成Presto主体的principal、修改Hive配置和HDFS设置，并提供了测试验证的方法。

安装
- 下载安装包
解压presto-server包
创建etc目录
在etc目录创建需要配置文件
在etc目录下创建catlog目录
在catalog目录下配置数据源
- 1. 配置mysql数据源
- 2. 配置hive数据源（没权限）
客户端配置
测试
集成kerberos

回到顶部

安装

下载安装包

presto官网：https://prest

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

duanbaba

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

presto-kerberos

08-14

presto-kerberos配置参数设置，presto-kerberos配置参数设置。

presto安装集成kerberos

Mrerlou的博客

03-29

881

安装下载安装包 presto官网：https://prestodb.io/ presto-server下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.tar.gz presto-cli客户端下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.248/presto-cli-0.2

参与评论您还未登录，请先登录后发表或查看评论

presto基于kerberos访问hive的安装

qq_29248935的博客

08-08

1472

presto基于kerberos访问hive的安装注意事项： 1.安装的presto0.223最新版是需要jdk1.8的，但是hadoop的jdk是1.7.所以新建presto的用户。安装jdk1.8到presto用户环境下。让presto在presto用户下执行。 2.presto的用户组需要添加hadoop,否则找不到presto服务的keytab文件。 3.ncmp安装hive_clien...

presto0.133访问启用kerberos的hive

liuwl000110的博客

10-31

1300

自己在服务器上部署了presto，访问服务器CDH集群中的hive，配置好catalog目录下的hive.properties,访问hive的时候一直访问不了，自己两个月以前刚装好的时候访问没有问题，可以查看hive中的数据库，表，表数据，相比两个月前，CDH集群启用了kerberos，在presto英文官网上最新版的官方文档看到有访问带kerberos的hive的配置方法，配置之后仍然不能访问，

presto的hive connector连接以及JDBC访问(包含kerberos方式)

zeng6325998的博客

07-01

3866

参考资料:https://prestodb.io/docs/current/connector/hive.html 前言 presto支持hive connector，并支持连接多个hive connector，还支持kerberos相关配置普通配置我们在etc目录下创建catalog目录，然后再下面创建hive.propertoes 文件，代表着我们创建了一个hive的catalog，hive.propertoes的配置如下 connector.name=hive-hadoop2 hive..

presto安装和集成kerberos的hive

Mrerlou的博客

03-29

368

Ranger集成Kerberos

Swordfall的博客

04-22

1531

1. 生成用户主体　　在kerberos服务器生成用于ranger的用户主体： kadmin.local addprinc -randkey http/node3@EXAMPLE.COM addprinc -randky root/node3@EXAMPLE.COM ktadd -norandkey -kt rangadmin.keytab http/node3@EXAMPLE.COM ro...

Presto集成Kylin

08-24

562

源码 https://github.com/poiyyq/presto-kylin 环境 presto：0.237.2 若需要更高版本，只需要更换pom文件版本即可。使用下载源码，使用maven打包后，将生成的jars上传到presto_home/plugin 新建一个文件夹kylin，然后push进去 eg：配置catalog文件 vi ./etc/catalog/kylin.properties connector.name=kylin connection-url=jdbc:k

presto集群安装以及集成kerberos

帆了个帆的专栏

08-01

6178

博客地址：http://www.fanlegefan.com 文章地址：http://www.fanlegefan.com/index.php/2017/07/31/prestokerberos/ presto集群安装安装包下载地址https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.181/presto-server-

Java集成presto查询

luoyuan的博客

06-24

4138

一、Java集成presto 1.pom文件引入相关jar <dependency> <groupId>com.facebook.presto</groupId> <artifactId>presto-jdbc</artifactId> <version>0.234.1</version> </dependency>

【华为云技术分享】使用Python连接Kerberos的Presto

华为云官方博客

06-04

3633

Python连接presto开源提供了以下两个库可以使用 presto-python-client：https://github.com/prestodb/presto-python-client pyhive：https://github.com/dropbox/PyHive 接下来就来分别实践一下，这两种客户端。环境准备 1.创建一台Ubuntu的ECS，VPC选择和MRS集群一致 2.下载安装apt-get，pip3，python3 3....

presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat

06-15

1222

om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage

操作hive表的时候报错：权限不够等权限问题，以及如何修改hive表的权限。

li793829630的博客

12-28

6214

我们一般在公司中进行hive上面的表的操作的时候，经常会碰见权限不够的问题：上面这些错误就是说明我们当前用户的权限不够了。这个时候，你要通知一些有管理员权限的人员或者账号去赋权。具体操作步骤如下：例子：假设我用的是test用户 1 show create table xx你的表名xx 然后你会得到下面的信息 CREATE TABLE `tablename`( `month_id` string COMMENT '', `day_id` string, `part_id` str

Presto 配置 Hive & Hive的权限

张伯毅的专栏

06-18

8297

总览 Hive连接器允许查询存储在Hive数据仓库中的数据。Hive是三个组件的组合：各种格式的数据文件通常存储在Hadoop分布式文件系统（HDFS）或Amazon S3中。有关如何将数据文件映射到架构和表的元数据。此元数据存储在数据库（例如MySQL）中，并可通过Hive Metastore服务进行访问。一种查询语言，称为HiveQL。该查询语言在诸如MapReduce或Tez的分布式计算框架上执行。 Presto仅使用前两个组件：数据和元数据。它不使用HiveQL或Hive执行环...

presto安装配置文档

qq_42016966的博客

01-23

609

参考网址：https://blog.youkuaiyun.com/qq595662096/article/details/88077211 Presto的安装非常的简单，集成的是hive，也就是利用hive的元数据信息来处理，直接上步骤（推荐看博客的同事一定要看看官网的信息，presto还在孵化的阶段，可能随着时间的推移改动比较大，所以强烈推荐看官网） 1.下载presto：官网地址： https://prestodb.github.io/ 下载地址页面： https://prestodb.github.io/do

记一次生产环境presto删表失败的问题

weixin_34056162的博客

05-30

958

场景，开发用java程序连接presto创建一个表，这个表在hdfs的权限为：然后用presto去删除这个表报错，没有权限删除，查看上一级目录权限,发现权限正常直连hive删表发现正常. 然后使用developer直连hive 创建表，用presto删除还是报错没有权限。连接hive 元数据MySQL select t.OWNER, p.PRINCI...

hive metastore配置kerberos认证

从大数据到人工智能的博客

01-11

3864

hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。如果您还不了解如何单独启用hive metastore服务，那么您可以参考下述文章。 Presto使用Docker独立运行Hive Standalone Metastore管理MinIO（S3） kdc

社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore

lin86182824的博客

06-10

340

社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore

Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问

qq_32020645的博客

06-22

5002

技术连载系列，前面内容请参考前面连载9内容:Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的安全性，Hive也需要配置Kerberos安全认证，这样可以控制对Hive和底层HDFS数据的访问权限，防止未经授权的访问和操作，确保数据的安全性。目前对HDFS进行了Kerberos安全认证后，在Hive。