presto集成Kerberos的hive

Presto安装与配置及Kerberos集成指南

最新推荐文章于 2022-06-15 16:15:48 发布

原创

最新推荐文章于 2022-06-15 16:15:48 发布 · 673 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive

本文详细介绍了Presto的安装步骤，包括下载安装包、解压配置、创建目录结构、配置文件、数据源、客户端设置、服务启动和测试。此外，还特别讲解了如何集成Kerberos，包括生成Presto主体的principal、修改Hive配置和HDFS设置，并提供了测试验证的方法。

安装
- 下载安装包
解压presto-server包
创建etc目录
在etc目录创建需要配置文件
在etc目录下创建catlog目录
在catalog目录下配置数据源
- 1. 配置mysql数据源
- 2. 配置hive数据源（没权限）
客户端配置
测试
集成kerberos

回到顶部

安装

下载安装包

presto官网：https://prest

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

duanbaba

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hive创建表的坑和Trino Presto是否支持列下推验证编程

DevProPlus的博客

09-12

219

在Trino Presto中，支持列下推验证编程，即通过编写自定义函数来验证查询中使用的列是否存在。总之，在使用Hive创建表和Trino Presto查询时，需要注意一些细节，以确保数据被正确地读取和处理。同时，通过编写自定义函数和使用列下推验证编程，可以进一步提高查询的准确性和效率。但是，如果mysource中有一列的类型与mytable中的相应列的类型不匹配，那么就会出现类型转换错误。通过这种方式，可以确保查询中使用的列都是存在的，从而避免出现错误。在使用Hive创建表时，有一些常见的坑需要注意。

presto-kerberos

08-14

presto-kerberos配置参数设置，presto-kerberos配置参数设置。

参与评论您还未登录，请先登录后发表或查看评论

presto的hive connector连接以及JDBC访问(包含kerberos方式)

zeng6325998的博客

07-01

3867

参考资料:https://prestodb.io/docs/current/connector/hive.html 前言 presto支持hive connector，并支持连接多个hive connector，还支持kerberos相关配置普通配置我们在etc目录下创建catalog目录，然后再下面创建hive.propertoes 文件，代表着我们创建了一个hive的catalog，hive.propertoes的配置如下 connector.name=hive-hadoop2 hive..

基于ranger的presto账号权限管理及事件监听方案

a80090023的专栏

08-11

2603

背景：我司为解决hive数据分析慢问题，部署了presto 347版本集群。同时即席分析平台采用开源产品superset 1.0版本。为满足公司业务场景，需开发以下功能解决认证及审计等问题。 jdbc等连接方式（开发同学专用）需验证ranger账号密码并通过ranger进行库表权限验证。 superset登录（数据分析同学使用）需验证公司sso账号，且superset端所有同学共用一个presto数据源连接，需单独设计权限认证方式。开发事件监听器，用于用户SQL查询情况审计等。一、账号密码

presto安装集成kerberos

Mrerlou的博客

03-29

881

安装下载安装包 presto官网：https://prestodb.io/ presto-server下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.tar.gz presto-cli客户端下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.248/presto-cli-0.2

presto基于kerberos访问hive的安装

qq_29248935的博客

08-08

1472

presto基于kerberos访问hive的安装注意事项： 1.安装的presto0.223最新版是需要jdk1.8的，但是hadoop的jdk是1.7.所以新建presto的用户。安装jdk1.8到presto用户环境下。让presto在presto用户下执行。 2.presto的用户组需要添加hadoop,否则找不到presto服务的keytab文件。 3.ncmp安装hive_clien...

presto安装和集成kerberos的hive

Mrerlou的博客

03-29

368

Ranger集成Kerberos

Swordfall的博客

04-22

1531

1. 生成用户主体　　在kerberos服务器生成用于ranger的用户主体： kadmin.local addprinc -randkey http/node3@EXAMPLE.COM addprinc -randky root/node3@EXAMPLE.COM ktadd -norandkey -kt rangadmin.keytab http/node3@EXAMPLE.COM ro...

presto0.133访问启用kerberos的hive

liuwl000110的博客

10-31

1300

自己在服务器上部署了presto，访问服务器CDH集群中的hive，配置好catalog目录下的hive.properties,访问hive的时候一直访问不了，自己两个月以前刚装好的时候访问没有问题，可以查看hive中的数据库，表，表数据，相比两个月前，CDH集群启用了kerberos，在presto英文官网上最新版的官方文档看到有访问带kerberos的hive的配置方法，配置之后仍然不能访问，

Presto集成Kylin

08-24

562

源码 https://github.com/poiyyq/presto-kylin 环境 presto：0.237.2 若需要更高版本，只需要更换pom文件版本即可。使用下载源码，使用maven打包后，将生成的jars上传到presto_home/plugin 新建一个文件夹kylin，然后push进去 eg：配置catalog文件 vi ./etc/catalog/kylin.properties connector.name=kylin connection-url=jdbc:k

presto集群安装以及集成kerberos

帆了个帆的专栏

08-01

6178

博客地址：http://www.fanlegefan.com 文章地址：http://www.fanlegefan.com/index.php/2017/07/31/prestokerberos/ presto集群安装安装包下载地址https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.181/presto-server-

Java集成presto查询

luoyuan的博客

06-24

4138

一、Java集成presto 1.pom文件引入相关jar <dependency> <groupId>com.facebook.presto</groupId> <artifactId>presto-jdbc</artifactId> <version>0.234.1</version> </dependency>

【华为云技术分享】使用Python连接Kerberos的Presto

华为云官方博客

06-04

3633

Python连接presto开源提供了以下两个库可以使用 presto-python-client：https://github.com/prestodb/presto-python-client pyhive：https://github.com/dropbox/PyHive 接下来就来分别实践一下，这两种客户端。环境准备 1.创建一台Ubuntu的ECS，VPC选择和MRS集群一致 2.下载安装apt-get，pip3，python3 3....

presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat

06-15

1222

om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage

操作hive表的时候报错：权限不够等权限问题，以及如何修改hive表的权限。

li793829630的博客

12-28

6214

我们一般在公司中进行hive上面的表的操作的时候，经常会碰见权限不够的问题：上面这些错误就是说明我们当前用户的权限不够了。这个时候，你要通知一些有管理员权限的人员或者账号去赋权。具体操作步骤如下：例子：假设我用的是test用户 1 show create table xx你的表名xx 然后你会得到下面的信息 CREATE TABLE `tablename`( `month_id` string COMMENT '', `day_id` string, `part_id` str

Presto 配置 Hive & Hive的权限

张伯毅的专栏

06-18

8297

总览 Hive连接器允许查询存储在Hive数据仓库中的数据。Hive是三个组件的组合：各种格式的数据文件通常存储在Hadoop分布式文件系统（HDFS）或Amazon S3中。有关如何将数据文件映射到架构和表的元数据。此元数据存储在数据库（例如MySQL）中，并可通过Hive Metastore服务进行访问。一种查询语言，称为HiveQL。该查询语言在诸如MapReduce或Tez的分布式计算框架上执行。 Presto仅使用前两个组件：数据和元数据。它不使用HiveQL或Hive执行环...

presto安装配置文档

qq_42016966的博客

01-23

609

参考网址：https://blog.youkuaiyun.com/qq595662096/article/details/88077211 Presto的安装非常的简单，集成的是hive，也就是利用hive的元数据信息来处理，直接上步骤（推荐看博客的同事一定要看看官网的信息，presto还在孵化的阶段，可能随着时间的推移改动比较大，所以强烈推荐看官网） 1.下载presto：官网地址： https://prestodb.github.io/ 下载地址页面： https://prestodb.github.io/do

记一次生产环境presto删表失败的问题

weixin_34056162的博客

05-30

958

场景，开发用java程序连接presto创建一个表，这个表在hdfs的权限为：然后用presto去删除这个表报错，没有权限删除，查看上一级目录权限,发现权限正常直连hive删表发现正常. 然后使用developer直连hive 创建表，用presto删除还是报错没有权限。连接hive 元数据MySQL select t.OWNER, p.PRINCI...

hive3 acid引起的spark和presto报错的问题，以及无法使用自定义函数问题

小小北漂

11-26

2095

在hdp3.1.5中hive3中内部表默认开启了acid，当spark和presto创建和读取内部表的时候会报错，网上建议的方式是舍弃掉acid特性 hive.strict.managed.tables=false hive.create.as.insert.only=false metastore.create.as.acid=false 对应hdp的配置如下：重新hive服务后确实可以生效，但是这样在使用hive的c ...