trino 433 安装

trino 433 开启 HTTPS trino节点之间可以不用开启SSL,对外访问开启SSL。如果自备证书可以直接配置到trino的config文件,如果没有证书可以使用mkcert生成自签证书(客户端需要信任证书,尤其是java keystore),之前尝试过openssl,keystore,keystore explorer,都不是特别好用,不是生成失败,就是生成的证书需要配合域名使用(需要客户端修改hosts文件,新增域名和IP的解析),所以选择了mkcert,只需要一行命令就可以(可以给多个IP or domain生成证书)。 阅读详情

准备

  1. Java 17
  2. trino-server-433 压缩包

开始

系统准备

创建trino用户和用户组

# 创建用户组
groupadd trino
# 创建用户并设置用户组
useradd -g trino trino

为运行 trino 的用户提供足够的 unlimit。包括 trino 能够打开的文件描述符,官方推荐以下配置:

vim /etc/security/limits.conf
trino soft nofile 131072
trino hard nofile 131072

修改完后,退出当前会话,重新登录即可生效。查看配置是否生效:

su trino
ulimit -a

配置Java环境

解压java的压缩包,配置 Java 环境

# 配置 java 环境变量
vim ~/.bash_profile
export JAVA_HOME=/usr/bigdata/openjdk-jre-17.0.9
PATH=$JAVA_HOME/bin:$PATH

# 关闭 .bash_profile 文件

# 使环境变量生效
source ~/.bash_profile

配置 trino 服务

解压 trino 压缩包,假设解压之后的目录为/usr/bigdata/trino-server-433。
以下文件需要在每台机器都配置
catalog文件下存放其他数据源的连接方式,可以暂时不配置或者之配置一个jmx数据源

  • jmx.properties: 通过jmx获取trino组件的监控信息
cd /usr/bigdata/trino-server-433
mkdir data && mkdir etc && mkdir etc/catalog && cd etc
touch node.properties
touch jvm.config
touch config.properties
touch log.properties

node.properties 文件配置

配置节点基本信息

# 节点运行环境名称
# 集群中的所有 trino 节点都必须由相同的环境名称。
# 必须以小写字母开头,只能包含小写字母、数字和下划线。
node.environment=trino_dev
# 节点唯一标识
# 每个节点都必须由唯一的标识符。
# 标识符必须以字母数字字符开头,并且只能包含字母数字、- 或 _ 字符
node.id=001
# trino 的数据目录,trino 会在该目录中存放日志、以及其他数据。
node.data-dir=/usr/bigdata/trino-server-433/data

jvm.config 文件配置

配置 jvm 基本信息,视情况修改,Xmx设置最大堆内存

-server
# work节点可以适当增加堆内存大小
-Xmx4G
-XX:-UseBiasedLocking
-XX:+UseG1GC
-XX:+ExplicitGCInvokesConcurrent
-XX:+ExitOnOutOfMemoryError
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow
-XX:ReservedCodeCacheSize=512M
-XX:PerMethodRecompilationCutoff=10000
-XX:PerBytecodeRecompilationCutoff=10000
-Djdk.attach.allowAttachSelf=true
-Djdk.nio.maxCachedBufferSize=2000000

config.properties 文件配置

配置服务基本信息。分为两种一种协调者 coordinator ;一种工作者 worker
coordinator 最小配置

# 是否是协调者
coordinator=true
# 允许在协调器上调度工作
node-scheduler.include-coordinator=false
# 服务暴露端口
http-server.http.port=9090
# 可以暂时不配置,后期增加上,用于限制单个查询使用的内存
#query.max-memory=8GB
#query.max-memory-per-node=1GB
#query.max-total-memory-per-node=2GB
# 服务发现的uri。填写协调者的uri
discovery.uri=http://10.110.60.185:9090

worker 最小配置

# 是否是协调者
coordinator=false
# 服务暴露端口
http-server.http.port=8080
# 可以暂时不配置,后期增加上,用于限制单个查询使用的内存
#query.max-memory=8GB
#query.max-memory-per-node=1GB
#query.max-total-memory-per-node=2GB
# 服务发现的uri。填写协调者的uri
discovery.uri=http://10.110.60.185:9090

log.properties 文件配置
# 配置日志级别为INFO
io.trino=INFO

jmx.properties 文件配置
connector.name=jmx

启动

cd /usr/bigdata/trino-server-433
bin/launcher start

安装trino-cli

下载 jar 包

https://repo1.maven.org/maven2/io/trino/trino-cli/433/trino-cli-433-executable.jar
修改trino-cli

# 修改trino-cli的名称,并且新增执行权限,可以在bash直接执行
mv trino-cli-433-executable.jar /usr/bigdata/trino-server-433/bin/trino
chmod a+x /usr/bigdata/trino-server-433/bin/trino

连接 trino 集群
./trino --server 10.110.60.185:9090 --catalog jmx --schema default

新增数据源

方法一:在catalog下新增 properties,然后重启所有节点
vim catalog/mysql.properties
connector.name=mysql
connection-url=jdbc:mysql://127.0.0.1:3306?enabledTLSProtocols=TLSv1.2&useSSL=false
connection-user=root
connection-password=123456

方法二:使用 sql 进行新增

使用sql新增后会自动生成properties文件放到catalog中。

CREATE CATALOG sql_test USING mysql
WITH (
  "connection-url" = 'jdbc:mysql://127.0.0.1:3306?enabledTLSProtocols=TLSv1.2&useSSL=false',
  "connection-user" = 'root',
  "connection-password" = '123456'
)
trino-435: trino接入TIDB数据源 trino-435: 适配TIDB数据源。 阅读详情

相关推荐

【信息科学与工程学】【解决方案体系】【系统工程】 第三十五篇 AI + ICT + 云计算 + 网络解决方案​ 的软件配置清单01

AI + ICT + 云计算 + 网络解决方案​ 的软件配置清单。需要说明:结合当前主流通用 CAE、数学建模、AI 框架、云原生与网络仿真工具整理出的推荐软件栈。软件 / 平台功能说明Kubernetes (K8s)​容器编排,承载 AI 训练、仿真任务调度、微服务化网络功能(CNF)OpenStack / 云管平台​私有云 IaaS 底座,提供虚拟机、GPU 算力、VPC 网络Slurm / Altair PBS​HPC 集群作业调度,支撑大规模电磁 / CFD / 光子仿真Docker / Singu

weixin_49199313的博客 399

【trino权威指南】使用trino详解:trino client安装、查询sql、DBeaver连接trino、java通过JDBC连接trino

【trino权威指南】使用trino详解:trino client安装、查询sql、DBeaver连接trino、java通过JDBC连接trino

hiliang521的博客 1万+

【信息科学与工程学】计算机科学与自动化——第一百五十五篇 缓存系统设计03

编号366-380共15个条目,涵盖了SQL/NoSQL数据库、小文件、对象、向量、CDN、应用框架等各类数据对CPU、GPU、ASIC、FPGA、NPU、内存、SSD、HDD、RAID卡、操作系统、Redis、容器、MPP数据库、CDN等缓存硬件和软件的配置需求。:mark_cache_size,uncompressed_cache_size,merge_tree配置。:调整vm.dirty_ratio,增大vfs_cache_pressure,启用透明大页。

weixin_49199313的博客 226

Presto(Trino)从安装到使用

之前安装过Presto版本,但是由于需要连接Phoenix+hbase,Phoenix版本是5.1.2,而Presto已有的版本只支持Phoenix4.16.1,对应的hbase的1.X版本,所以切换到Trino版本。需要注意的是trino最低支持jdk11版本,而大部分大数据组件依赖的jdk都是1.8,所以以下的安装是基于jdk1.8和jdk11的双版本同时存在的,通过不同的用户使用不同的环境变量来保持双版本不冲突。以下是各个基础组件的相关版本供参考,组件全部使用的是Apache官方的组件,并不是CDH版

硅谷工具人 3219

3.4 Trino二次开发-动态数据源管理-开发方案设计

目录 前言 1.前提 2.不足 3.方案介绍 步骤1 步骤2 步骤3 步骤4 总结 前言 前面的文章中,围绕着Catalog对Trino的源码进行了调研和解析,了解了Catalog加载过程中都做了哪些的工作。本文将围绕动态数据源管理为主题,进行二次开发方案的阐述。 开发方案设计 1.前提 首先强调几个小的前提 我们管理的动态数据源,是基于当前Trino的Plugin支持的数据源类型。 Trino对数据源的支持粒度是集群节点级别的。举个例子,假设Trino集群Test有三个..

万般皆苦,唯有自渡 8018

3.6 Trino二次开发-动态数据源管理-打包阶段问题汇总

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任

万般皆苦,唯有自渡 7562

trino的介绍和安装使用

根据官网的自己的描述,他们解释了trino不是什么,是什么,来方便读者了解trino。不是什么:它不是数据库的替代品,也不是为OLAP来设计的是什么:它是一种工具,一种可以提供访问多种数据源,并且可以处理PB,TB级别的工具。并且能进行数据分析,聚合数据,生成报告(通常这是OLAP的功能)...

我想问问天的专栏 8533

3.1 Trino二次开发-动态数据源管理-需求及源码解读1

目录 前言 一、当前需求 二、解决方案 1.当前情况 2.方案概述 3.源码解读 总结 前言 前面的文章中提到了,如何在windows环境构建trino的开发环境,本文中主要针对二次开发的场景,来对实际二次开发过程中的思路和问题进行整理及分享。 一、当前需求 需求: 业务场景中需要数据源在Trino上可以进行动态的管理,包括:添加、编辑、删除;但是Trino本身的数据源是不支持这些热操作的,它的做法是把数据源配置到properties文件中,重启后生效。每次添加一个数据源就重

万般皆苦,唯有自渡 8312

Trino 387 Docker 部署配置数据源后不显示对应数据Catalog

Trino 387 Docker 部署配置数据源后不显示对应数据Catalog,添加数据源失败

tonglingtou1875的博客 932

基于Trino358和Carbondata2.2.0编译的Trino Carbondata Plugin

CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提高计算效率,有助于加速超过PB数量级的数据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成的高性能分析引擎。 Trino完全基于内存的并⾏计算,分布式SQL交互式查询引擎.是一种Massively parallel processing (MPP)架构,多个节点管道式执⾏,⽀持任意数据源(通过扩展式Connector组件),数据规模GB~PB级使用的技术,如向量计算,动态编译执⾏计划,优化的ORC和Parquet Reader等

Ethercat学习-从站源码生成

移植平台GD32F450,从站芯片AX58100

西澳峰的博客 9209

【大数据】Presto(Trino)SQL 语法进阶

Presto(Trino)是一个快速、分布式的SQL查询引擎,可以用于查询各种数据源,包括Hadoop、NoSQL、关系型数据库等。下面是Presto(Trino)SQL语法的概述:SELECT:用于从一个或多个表中检索数据,指定所需的列和过滤条件。FROM:用于指定要查询的表名、子查询或视图,这些源可能跨越数据库和表格。JOIN:用于将两个或多个表格中的列连接到单个结果集中。WHERE:用于指定WHERE子句中定义的条件,以从原始数据集中筛选数据。GROUP BY:用于根据一个或多个列对结果集进行分组。

匠人精神,持之以恒! 5534

Xilinx Aurora 8B/10B IP核详解和仿真

Xilinx Aurora 8b/10b IP核的详解,以及使用与仿真示例,对IP核的配置和如何仿真有非常详细的说明,除了对IP核官方文档的内容进行了解析以外,还对GTX引脚的选择等比较容易混淆和不好理解的地方进行了说明。最后对IP核的仿真运行进行了STEP BY STEP 的说明,对仿真的结果也进行了简要的说明。 该文档对Xilinx FPGA和ZYNQ SOC下 AURORA 8B/10B IP核的使用提供了一个快速上手的指导。

weixin_43354598的博客 1万+

Trino配置和SQL语法

trino

nniuer的博客 1907

COCOS 3.8 接入高德定位SDK

/微信登录所必须的code。//是否获得code。

八喜互动 1992

STM32读取BQ40Z50的数据

TI电池管理芯片BQ40Z50,通信协议是SMBUS,类似IIC,速率要求10-100KHz   用的STM32F103的硬件IIC读取电池的各种数值,源代码如下: ​ #include "iic.h" #include "stdio.h"  //***************************************************** // IIC2初始化函数:初始化ST...

百步登峰的博客 1万+

CarbonData部署和使用

本文主要介绍了华为开源的一个新型的大数据列式存储格式CarbonData。简要描述了CarbonData的特性。有介绍了CarbonData的安装以及和Spark的集成,最后在spark-shell中通过编程执行SQL,测试了CREATE、LOAD、SELECT、INSERT、UPDATE、DELETE

Yore - Home 5168

关于RTP时间戳以及播放器对时间戳的处理

首先,了解时间戳几个基本概念: 时间戳单位:时间戳计算的单位不是秒之类的单位,而是由采样频率所代替的单位,这样做的目的就是为了是时间戳单位更为精准。比如说一个音频的采样频率为8000Hz,那么我们可以把时间戳单位设为1 / 8000。 时间戳增量:相邻两帧之间的时间差(以时间戳单位为基准)。 采样频率: 有些地方也叫时钟频率,即 每秒钟抽取样本的次数,例如音频的采...

toshiba689的专栏 3052

【Trino实战】CentOS 部署Trino 集成Hive Elasticsearch

Trino的部署帮助文档

有问题的请私信或关注v【技术印记】留言 1597

9.6华为OD机试真题 新系统【仓储货物有序出库】

华为OD机试真题 新系统【仓储货物有序出库】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题 【仓储货物有序出库】多语言题解。

qq_45776114的博客 875

基于QT与STM32的电力参数采集系统(华为云IOT)(211)

本项目构建一款集多功能于一体的电力参数采集系统,该系统以高性能、低功耗的STM32F103RCT6微控制器为核心,集成多种传感器与通信模块,实现对电力设施如电压、电流、功率、电能及环境温度等关键参数的实时精确采集,并通过GPS模块获取设备地理位置信息,满足了电力设备状态全面监控的需求。

2899

【Trino实战】Trino调研说明

Trino是一个分布式SQL查询引擎,旨在查询分布在一个或多个异质数据源的大型数据集。

有问题的请私信或关注v【技术印记】留言 4358

Spring Framework 7.002.Spring IoC 容器与 Bean 简介(Introduction to the Spring IoC Container and Beans)

摘要:Spring框架的核心技术包括IoC容器和AOP技术。IoC容器通过依赖注入实现控制反转,提供Bean管理和配置功能。ApplicationContext作为BeanFactory的扩展,增加了企业级特性。文档详细介绍了容器配置、Bean定义、依赖注入、作用域等核心概念,以及基于注解的配置方式。AOP框架支持80%的AOP需求,并可集成AspectJ。此外还涵盖环境抽象、容器扩展点等高级特性,为Java企业应用开发提供全面支持。(150字)

无 212

Trino 391 安装配置

Trino 是一种分布式 SQL 查询引擎,旨在查询分布在一个或多个异构数据源上的大型数据集

我思,顾我在 1652

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

大数据工具之Trino

从字面意思可以看到它支持的数据源应该是没有限制的,例如Hadoop、AWSS3、Alluxio、MySQL、Cassandra、Kafka、ES、Kudu、MongoDB、MySQL等等,一句话,就是在市面能看到的存储,它基本上都支持。Trino没有自己的存储,实现了存储与计算分离,而存储与计算分离的核心就是基于连接器的架构。连接器为Trino提供了连接任意数据源的接口,也可以自定义编程实现连接器。......

长沙老码农 1万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Trino安装

一、安装配置 官网下载包https://trino.io/download.html 注意presto对jdk等版本有要求,具体看官方文档上对应要求,目前最新版为359,要求如下: 1、jdk11.0.11到12版本之间 2、python2.6.x, 2.7.x, or 3.x #解压,解压路径为/usr/install/trino-server-359 tar -zxvf trino-server-359.tar.gz #进入trino-server-359 创建etc...

记录 6756

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

上一篇: HBase选择压缩算法Block Encoding Type
下一篇: trino 433 开启 HTTPS
codeforces
博客等级 码龄12年 45粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值