硅谷工具人

客户端查询时基本都用DBeaver工具来查询，由于上了trino做连接器，集成了hive、MySQL、Phoenix、Kafka、Iceberg等组件，所以使用trino来做分析，特别方便。今天我们在使用pyspark跑批任务时，使用了trino的jdbc连接iceberg表。2. 问题描述当数据量不大时，没任何异常。但是一旦数据量大，表数据有几十G(平时很正常大小)，然后使用这种连接方式做聚合等操作时，就一直卡着很长时间执行不完。后来换成pyspark直接读iceberg表，问题瞬间解决。4.

PrestoSQL和HiveSQL的日期函数对比

之前安装过Presto版本，但是由于需要连接Phoenix+hbase，Phoenix版本是5.1.2，而Presto已有的版本只支持Phoenix4.16.1，对应的hbase的1.X版本，所以切换到Trino版本。需要注意的是trino最低支持jdk11版本，而大部分大数据组件依赖的jdk都是1.8，所以以下的安装是基于jdk1.8和jdk11的双版本同时存在的，通过不同的用户使用不同的环境变量来保持双版本不冲突。以下是各个基础组件的相关版本供参考，组件全部使用的是Apache官方的组件，并不是CDH版

创建指定目录1.3 coordinator节点安装与配置(hadoop200)配置 config.properties配置jvm.config配置node.properties1.4 work节点配置(hadoop201,hadoop202)配置config.properties配置 jvm.config配置node.properties2. 配置连接器2.1 配置iceberg(3个节点)配置 catalog/iceberg.properti