大数据Presto技术
文章平均质量分 55
尘世壹俗人
希望我的内容能够帮助更多人,一般我发出来的都是经过自己验证或者自身在用的内容,能躺的坑已经躺完了,也欢迎大家私聊我探讨问题,加班太多回复可能不太及时
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
PrestoDB配置用户和密码验证
PrestoDB提供两种密码验证方式:密码文件和LDAP服务。密码文件方式更简单,只需在配置文件中启用密码验证并创建包含bcrypt加密密码的文件。LDAP方式需要配置证书和LDAP服务连接,适合有专业安全团队的环境。两种方式都要求客户端连接时提供用户名和密码,密码文件方式对大多数用户来说更易实施且维护成本低。原创 2025-09-06 12:26:23 · 1083 阅读 · 0 评论 -
PrestoDB用jdbc连接
本文介绍了如何使用Presto JDBC进行安全连接。首先需要导入Maven依赖,然后提供了基本连接URL格式和Java代码示例。重点讲解了SSL安全连接的配置,包括生成Keystores和Truststores证书文件的方法,以及如何将证书导入到客户端。文中还详细列出了所有可用的连接参数,其中用户、密码、SSL、Kerberos凭证路径和密码是最常用的5个参数。最后给出了Presto服务端开启HTTPS的配置示例和Java连接代码模板。这些配置步骤对于保障生产环境中的数据传输安全至关重要。原创 2025-09-02 19:01:41 · 783 阅读 · 0 评论 -
presto自定义函数
需要注意的是,presto的自定义函数和hive、spark的自定义函数在立意上不一样,非要找一致行,只能说presto的自定义函数类似于一进一出函数,但是出来的结果类型由于presto本身支持很多类型,所以结果可以是多元化的。通过上面的案例,大家可以发现,SQL类型的执行体,其实能够完成的能力是有限的,因为它现在只支持一行内的返回提,无法写多行,一般用在一个很复杂的字段逻辑封装中,如果你有多行就需要写代码解决了。:这个函数执行体类型,默认是SQL,其他可选的有Java等可被识别的标识符,原创 2025-04-08 16:22:13 · 739 阅读 · 0 评论 -
presto行转列
presto的行转列原创 2025-04-01 14:47:09 · 378 阅读 · 0 评论 -
presto任务优化参数
0.142版本开始,presto跑任务提供了读取元数据上的优化,来提高效率,但是个人不建议用,因为如果操作的数据是空的,比如只有hive数据的物理路径被删除了,这个配置可能影响任务结果,而且在0.279版本修复了使用这个参数,对分区列聚合以及行字段元数据读取上的bug,bug导致查询结果错误,总之不建议轻易使用,知道有这么个配置当作逼不得已用的一个参数就行,用也在0.279之后用。presto最早的正式版本是0.8X,刚开始的时候是没有完整的集群资源管理组件的,所以对于大查询就临时搞了上面的配置。原创 2025-03-29 17:39:03 · 1408 阅读 · 0 评论 -
presto任务卡住不继续执行
3、是否有大量数据在同一个select中做成本很高的计算,比如多个字段在数据量本身很大的情况下在同一个select里面一起去重等,这种情况不止要减少计算的数据,还要将多个字段使用with as的方式分成多个临时表计算。1、检查你的数据切片是否导致任务的数据集很大,这种情况通常导致执行阶段出现压力异常问题,此时减少切片,分多次写入,或者用个中间表,分步聚合。当你的presto任务非直接报错,只是卡在了 XX% 这种运行状态不动时,有时伴随queryid旁边有黄色感叹号,如下。原创 2025-01-16 15:29:26 · 504 阅读 · 0 评论 -
presto列转行
在sparksql/hive中,将一个数据集合已指定的分隔符拼接可以用。,但是在presto中没有这个函数,不过presto提供了一个集合方法。同样的对数据集去重可以用。如果你不需要去重就直接用。原创 2025-01-14 00:08:54 · 709 阅读 · 0 评论 -
presto资源组配置
通过hardCpuTime 和 cpuQuotaPeriod配置不同资源队列占有cpu资源的比例,如果将cpuQuotaPeriod配置为1小时,而当前集群有10个核的计算资源,这相当于集群总共有10个CPU小时的执行时间可以用,将某资源队列组的hardCpuTime配置为5小时,则说明该组最多能占有50%的cpu资源(5/10),说白了cpuQuotaPeriod有点像yarn资源的最小因子,presto用它来限制cpu资源的使用。子组运行查询的预期份额是根据当前所有符合条件的子组的权重计算的。原创 2025-01-09 17:11:27 · 900 阅读 · 0 评论 -
presto访问权限管理
官方文档-》https://prestodb.github.io/docs/current/security/built-in-system-access-control.htmlpresto的权限管理,分为catalog配置、schema配置、principal规则,分别管理着不同维度的权限设置。使用的前提是在etc目录下,创建文件,并写入如下配置。原创 2025-01-07 23:17:03 · 880 阅读 · 0 评论 -
presto抛出java.lang.ArithmeticException:Rounding necessary异常
这个异常,是presto处理数据发生了精度问题,通常是数据源的精度太高presto读不出来,极少情况是舍位运算的时候发生了精读丢失。精度太高上一般是浮点数小数点后的位数太长。原创 2024-12-30 16:45:33 · 373 阅读 · 0 评论 -
presto抛出java.lang.ArithmeticException:/ by zero异常
这个错误的原因是你sql中除法运算的被除数为0了,这个是不允许的。原创 2024-12-30 16:41:55 · 217 阅读 · 0 评论 -
presto操作hive数据的时候如何覆盖写数据
要注意的是,有的人会先delete旧数据,但是这种操作会造成分区结构被删掉但是同时底层文件仍然存在的问题,Presto认为该分区不存在,需要新建分区,但底层文件其实还存在,这样会造成 Unable to rename …同时要注意你使用的发行版是那个,博主之前用过李老板家的BOS,那个服务的第三方路径是dgs,因此这个配置被封装成了。,但是这个语句在presto中不支持,在presto中你需要在sql前面写上如下的参数。语句就行,已存在的分区中的数据会被覆盖,若分区不存在会新建。带上这个参数之后,正常写。原创 2024-09-18 16:17:49 · 854 阅读 · 0 评论
分享