记一次生产环境presto删表失败的问题

最新推荐文章于 2024-06-18 13:13:50 发布
转载 最新推荐文章于 2024-06-18 13:13:50 发布 · 944 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/ZFBG/p/10951211.html
文章标签：

#大数据 #java #数据库

博客讲述使用Java程序连接Presto创建并删除Hive表时遇到权限问题。用Presto删表报错，直连Hive删表正常。通过连接Hive元数据MySQL查询，发现Presto默认用户与存储用户不一致。最终解决方法是修改jmx.config并以common用户启动Presto。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

场景，开发用java程序连接presto创建一个表，这个表在hdfs的权限为：

然后用presto去删除这个表

报错，没有权限删除，查看上一级目录权限,发现权限正常

直连hive删表

发现正常. 然后使用developer直连hive 创建表，用presto删除还是报错没有权限。

 

连接hive 元数据MySQL  

select t.OWNER, p.PRINCIPAL_NAME, count(1)  from TBLS t      join TBL_PRIVS p on p.TBL_ID=t.TBL_ID  group by t.OWNER, p.PRINCIPAL_NAME;

再次用presto（jmx.configure

 

）创建表

 

 发现 common对应的count增加了，但是developer的没有增加。

 

问题就明了了。 presto默认是以启动presto的用户来做hive元数据的也就是这里的common用户， 但是存储用户是以jmx.configure 里面配置的用户来设定的。所以 在presto里面（developer用户进入）删除这个表会提示权限不够

 

解决方法修改 jmx.config

然后以common用户启动presto

 

转载于:https://www.cnblogs.com/ZFBG/p/10951211.html

Hive创建表的坑和Trino Presto是否支持列下推验证编程
DevProPlus的博客
09-12 162
在Trino Presto中，支持列下推验证编程，即通过编写自定义函数来验证查询中使用的列是否存在。总之，在使用Hive创建表和Trino Presto查询时，需要注意一些细节，以确保数据被正确地读取和处理。同时，通过编写自定义函数和使用列下推验证编程，可以进一步提高查询的准确性和效率。但是，如果mysource中有一列的类型与mytable中的相应列的类型不匹配，那么就会出现类型转换错误。通过这种方式，可以确保查询中使用的列都是存在的，从而避免出现错误。在使用Hive创建表时，有一些常见的坑需要注意。
《ClickHouse企业级应用：入门、进阶与实战》1 全面了解ClickHouse
AI天才研究院
01-31 1万+
近年来，ClickHouse发展势头迅猛，社区、大厂纷纷跟进使用。面对万亿级的数据查询分析也能做到亚秒级响应。那么，ClickHouse 到底是何方神圣？为什么如此受青睐？各位看官，欲知 ClickHouse 为何方神圣，且往下看。本章我们先来了解什么是ClickHouse，内容包括ClickHouse是什么，它具有哪些特性，适用哪些应用场景等。1.1 ClickHouse 概述本节介绍 ClickHouse 是什么、发展历程，以及ClickHouse在 OLAP 生态中的位置。同时，简单介绍了 OLAP
presto删除表权限不够
leezsj的博客
09-01 1364
Query 20210901_025205_00000_x7pyd failed: Access Denied: Cannot drop table dwb_news.rsu 在presto安装的配置环境变量中 的hive配置中添加 最后一条 hive.allow-drop-table=true
Presto删除表提示没有权限
hellokitty_nba的博客
09-22 1323
Presto删除表提示没有权限
presto集成Kerberos的hive
duanbaba的博客
06-23 654
目录 安装 下载安装包 解压presto-server包 创建etc目录 在etc目录创建需要配置文件 1. 创建config.propertie 2. 创建jvm.config 3. 创建log.properties 4. 创建node.properties 在etc目录下创建catlog目录 在catalog目录下配置数据源 1. 配置mysql数据源 2. 配置hive数据源（没权限） 客户端配置 测试 集成kerberos 生成persto主体
Presto兼容Hive SQL的一些改造工作
eagooqi的专栏
11-10 1182
前言 Presto是一款优秀的分布式SQL查询引擎，适用于即席查询和报表分析等业务，其使用了ANSI SQL语法和语义，使用标准是SQL-92和SQL:2016。但是因为很多业务方一直使用Hive离线引擎来做SQL分析，而Hive使用类似SQL的语法（HQL）。为了使用户能平滑的将业务迁移到Presto上或者能让SQL同时跑到Presto及Hive引擎上，我们对Presto语法及一些算子等做了二次兼容开发，来最大限度降低用户迁移成本。接下来我们介绍下我们的主要兼容工作。 一、权限认证 Presto默认
从 0 到 1 学习 Presto，这一篇就够了
大数据梦想家
03-14 1万+
前言         Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。本期内容，我就从一个初学者的角度，带着大家从 0 到 1 学习 Presto，希望大家能够有所收获！ Presto简介 1. Presto概念         Presto是 Facebook 推出的一个开源的分布式SQL查询引擎，
【硬刚大数据】2021年从零到大数据专家之Kudu篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 809
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 2021.
【硬刚大数据】从零到大数据专家之Apache Doris篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 1912
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 ...
2万字长文Doris运维问题大全及参考答案（持续更新）
大模型大数据攻城狮的专栏
06-18 1020
Apache Doris（原Palo）是一个面向OLAP（在线分析处理）的MPP（大规模并行处理）数据库系统，专为实时分析和大数据处理场景设计。高性能分析：通过列式存储、向量化执行引擎和先进的查询优化器，Doris能够提供亚秒级的查询响应时间，特别适合复杂的分析查询。易用性：Doris支持标准SQL语法，降低了学习成本，同时提供了丰富的数据导入工具和灵活的数据模型设计，便于用户快速上手。高可扩展性：Doris采用分布式架构，可以轻松横向扩展，通过增加更多的服务器来提升数据处理能力和查询性能。高可用性。
presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat
06-15 1189
om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage
【presto】presto 常用的命令
Mrerlou的博客
01-14 2596
前言 连接命令 java -jar presto-cli-0.269-SNAPSHOT-executable.jar --server localhost:8080 --catalog hive –server 是presto服务地址； –catalog 是默认使用哪个数据源，后面也可以切换，如果想连接mysql数据源，使用mysql数据源名称即可； –user 是用户名； 查看信息 查看数据源(catalog) show catalogs; 查看schemas show schema
删除hive的部分分区后，Presto查询数据失败，但是Hive查询却有数据
Coding Space
02-17 4118
文章目录1.异常信息2.原因3.解决方案 1.异常信息 查询使用presto查询hive表，显示partition location dose not exist: hdfs:\xxxx 2.原因 对hive数据分区进行了物理删除，但是hive查询时可以屏蔽该错误，但是Presto查询的时候不能屏蔽该错误，而是将该错误抛出。 3.解决方案 手动删除hive的元数据中的分区信息，如下所示： alt...
presto错误问题
Xlucas的博客
08-20 3994
今天刚开始部署presto就出现了几个小问题总结一下 1、在启动presto的时候会出现这个不认识的信息，这些今天遇到的都是每行配置后续多了一个空格，这个还是要一个一个的敲比较靠谱，不要拷贝。 java.lang.IllegalArgumentException: No factory for connector hive-hadoop2 at com.google.comm...
Hive操作——删除表(drop、truncate)
热门推荐
夏天小厨的博客
07-02 13万+
Hive删除操作主要分为几大类：删除数据（保留表）、删除库表、删除分区。我将以下图为例清空iot_devicelocation中的数据，之后再删除表、库等。 首先来看一下iot_deivcelocation中的数据。select * fromiot_deivcelocation。 一、仅删除表中数据，保留表结构 hive> truncate table iot_device...
Hive删除库、表或表中部分数据总结
baidu_38432186的博客
06-27 1万+
1.分区表 删除某个partition alter table alter table table_name drop partition(partiton_name='xxx')) 删除某个partition的部分数据 可以换一种思路，用INSERT OVERWRITE TABLE 满足WHERE后面条件的数据是表中这个分区需要保留的数据 --下边代码table_name 是同一个表 INSERT OVERWRITE TABLE table_name PARTITION(year='2018') S
Presto源码解读----Presto如何加载catalog信息
xiaoping_1988的博客
12-22 1747
presto加载catalog的逻辑 presto启动入口 模块：presto-server-main 类及方法：io.prestosql.server.PrestoServer.main(String[] args) 代码片段： public final class PrestoServer { private PrestoServer() {} public static void main(String[] args) { String javaVersio
使用presto sql中，针对同一个表，在不同条件下的非重复内容的数据统计
Dead_Rabbit6_0的博客
07-09 2759
shi* ，题目好拗口前提是这样的，我拥有这样一个表namesexJack0Jack1Jack2Jack1Jack3Cassie1Cassie4Cassie1Cassie5现在，需要统计sex为1 条件下相同名字的人数（as sameSexName"名称可能和目的不太符合23333"），以及 相同名字的人数 (as sameName)，在一个sql中进行输出。sql:select *, coun...
Presto/Trino中schema、table、视图的操作
Bulut0907
03-25 6754
目录1. 创建、更新、删除schema2. 创建table2.1 表和列with子句的使用2.2 复制现有的表结构2.3 从查询结果中新建表2.4 修改表和删除表3. 视图 1. 创建、更新、删除schema 下面以Hive为例，进行讲解 创建schema trino> create schema if not exists hive.test_db with (location = 'hdfs://nnha/user/hive/warehouse/test_db.db'); CREATE SCHEM
presto 中 取最后一次出现的值用哪个函数
最新发布
06-27
<think>我们正在讨论PrestoSQL中的函数，特别是如何获取字段中最后一次出现的值。在Presto中，没有直接名为“lastoccurrence”的函数，但我们可以通过其他方式实现。通常，要获取某个字段在分组内最后一次出现的值，我们可以使用窗口函数，结合排序条件来取最后一条记录。常见的方法是使用`last_value`窗口函数，但需要注意，窗口函数需要指定窗口框架（windowframe），因为默认的窗口框架是从分区的第一行到当前行，所以如果我们想要整个分区的最后一行，我们需要调整窗口框架。另一种方法是使用`array_agg`函数配合排序，然后取数组的最后一个元素。具体实现：1.使用窗口函数`last_value`，并指定窗口框架为整个分区（ROWSBETWEENUNBOUNDEDPRECEDINGANDUNBOUNDEDFOLLOWING）：```sqlSELECTlast_value(column_name)OVER(PARTITIONBYpartition_columnORDERBYorder_columnROWSBETWEENUNBOUNDEDPRECEDINGANDUNBOUNDEDFOLLOWING)ASlast_valueFROMtable_name;```但是，请注意，`last_value`函数在默认的窗口框架下（即不指定ROWSBETWEEN）只会取到当前行为止的最后一个值，而不是整个分区的最后一个值。因此，我们必须指定窗口框架为整个分区。2.使用`array_agg`和`array_max`（或通过下标访问）：```sqlSELECTarray_agg(column_nameORDERBYorder_columnDESC)[1]ASlast_valueFROMtable_nameGROUPBYpartition_column;```或者，更直接地，使用`slice`和`array_agg`，但Presto中数组下标从1开始，我们可以取数组的第一个元素（因为我们按倒序排列，所以第一个元素就是最后一个出现的值）。注意：如果分组后数组可能为空，需要处理。然而，在Presto中，我们也可以使用`reduce`或`max_by`等函数，但这里更推荐窗口函数或数组聚合。但是，请注意：用户要求的是“最后一次出现”，即按某种顺序（如时间顺序）的最后一个值。另外，Presto还提供了一个函数`nth_value`，可以取第n个值，但同样需要窗口框架。考虑到性能和可读性，通常使用窗口函数更为直接。因此，我们给出一个示例：假设我们有一个表`sales`，包含字段`sale_date`（销售日期）、`product_id`（产品ID）和`price`（价格），我们想要获取每个产品最新的价格（即按日期排序，最后一次出现的价格）。方法1：使用窗口函数```sqlSELECTDISTINCTproduct_id,last_value(price)OVER(PARTITIONBYproduct_idORDERBYsale_dateROWSBETWEENUNBOUNDEDPRECEDINGANDUNBOUNDEDFOLLOWING)ASlast_priceFROMsales;```注意：这里使用了DISTINCT，因为窗口函数会为每一行都返回一个值，而我们只需要每个产品一条记录。也可以使用子查询去重。方法2：使用聚合函数```sqlSELECTproduct_id,array_agg(priceORDERBYsale_dateDESC)[1]ASlast_priceFROMsalesGROUPBYproduct_id;```两种方法都可以，但第二种方法在分组聚合时可能更高效。另外，Presto还提供了`max_by`函数，但是`max_by`是取与最大值对应的那个值，如果我们按日期取最大值，那么对应的价格就是最后一次的价格吗？注意：如果日期是递增的，那么最大日期对应的价格就是最后一次出现的价格。所以：方法3：使用`max_by`函数（需要先按产品分组，然后取最大日期对应的价格）```sqlSELECTproduct_id,max_by(price,sale_date)ASlast_priceFROMsalesGROUPBYproduct_id;```但是，注意：`max_by`函数返回的是与最大sale_date对应的price。如果有多个相同的最大sale_date，那么它会返回其中任意一个（非确定）。如果我们的需求是取最后一次出现的值，且按日期排序，那么最大日期对应的价格就是最后一次出现的价格。因此，这个方法很合适。结论：在Presto中，获取字段最后一次出现的值（按某个顺序）可以使用以下方法：1.窗口函数`last_value`配合正确的窗口框架（整个分区）2.使用`array_agg`取倒序后的第一个元素3.使用`max_by`函数（如果排序的字段是数值或日期，且我们要取最大值对应的那个字段值）根据场景选择最合适的方法。因此，针对用户的问题，我们可以推荐使用`max_by`函数，因为它简洁且易于理解，但前提是我们要按一个可以取最大值的列来排序（比如时间戳、日期、数字等）。如果排序的列不是最大值而是最小值，那么我们可以使用`min_by`，或者通过排序调整。但是，如果“最后一次”是指数据插入的顺序，而我们没有一个明确的排序字段，那么可能需要使用其他方法（如row_number等）。但用户的问题中，应该有一个隐含的排序字段（如时间字段）。所以，我们假设用户有一个排序字段，那么使用`max_by`是最直接的。示例：获取每个用户最后一次登录的IP地址```sqlSELECTuser_id,max_by(ip_address,login_time)ASlast_login_ipFROMlogin_logsGROUPBYuser_id;```如果用户没有分组，而是想要在整个表中某个字段的最后一次出现的值（没有分区），那么我们可以使用全局排序，例如：```sqlSELECTmax_by(column_name,order_column)FROMtable_name;```或者，如果整个表只取一个值，也可以：```sqlSELECTcolumn_nameFROMtable_nameORDERBYorder_columnDESCLIMIT1;```因此，根据上下文，选择合适的方法。现在，我们来生成相关问题。</think>在 Presto SQL 中，获取字段最后一次出现的值通常需要使用**窗口函数**结合排序逻辑实现。虽然没有名为 `last_occurrence` 的专用函数，但可通过以下方法实现： ### 方法 1：使用 `last_value()` 窗口函数 通过指定窗口框架范围获取分组内最后一个值： ```sql SELECT id, value, -- 按时间倒序排序，取分区内最后一个值 last_value(value) OVER ( PARTITION BY id ORDER BY timestamp DESC ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING ) AS last_occurrence_value FROM your_table; ``` **关键点**： - `PARTITION BY id`：按分组字段分区（如用户ID） - `ORDER BY timestamp DESC`：按时间戳**倒序排列**（确保最后出现值在末尾） - `ROWS BETWEEN ...`：指定窗口覆盖整个分区（必须显式声明） --- ### 方法 2：使用 `array_agg()` 聚合函数 通过数组聚合取最后一个元素： ```sql SELECT id, -- 按时间正序聚合后取数组最后一个元素 element_at(array_agg(value ORDER BY timestamp), -1) AS last_occurrence_value FROM your_table GROUP BY id; ``` **优势**：语法更简洁，适合分组聚合场景。 --- ### 方法 3：使用 `row_number()` + 子查询 ```sql SELECT id, value AS last_occurrence_value FROM ( SELECT *, row_number() OVER (PARTITION BY id ORDER BY timestamp DESC) AS rn FROM your_table ) WHERE rn = 1; -- 取排序后的第一条（即时间倒序的首条） ``` --- ### 场景示例 假设表 `user_actions` 记录用户行为： | user_id | action | action_time | |---------|---------|----------------------| | 101 | login | 2023-01-01 10:00:00 | | 101 | click | 2023-01-01 11:30:00 | | 101 | logout | 2023-01-01 12:00:00 | 获取每个用户最后一次的 `action`： ```sql SELECT user_id, last_value(action) OVER ( PARTITION BY user_id ORDER BY action_time DESC ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING ) AS last_action FROM user_actions GROUP BY user_id, action, action_time; ``` **结果**： | user_id | last_action | |---------|-------------| | 101 | logout | --- ### 注意事项 1. **明确排序字段**：必须指定时间戳或序列字段（如 `ORDER BY timestamp DESC`） 2. **窗口框架声明**：使用 `last_value()` 时务必包含 `ROWS BETWEEN ...` 子句 3. 性能优化：对大数据集优先使用 `array_agg()` 或 `row_number()` 方法 > 参考 Presto 窗口函数文档：[Window Functions - Presto Documentation](https://prestodb.io/docs/current/functions/window.html)[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值