Presto老自动重启的解决方案

最新推荐文章于 2024-07-06 23:44:29 发布
原创 最新推荐文章于 2024-07-06 23:44:29 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分享了在使用Presto处理大规模数据集时遇到的自动重启问题及解决方案。通过调整并行SQL数量和增加内存分配，有效提升了Presto的任务处理效率。

前文

使用presto跑任务的时候，基本上每隔30分钟就自动重启。

情况分析

由于项目需要跑一定历史时期的数据，为了加快运行速度。增加了并行的sql数。

解决

提高内存。

Presto进程管理实现监控&宕机重启
杨鑫newlife的专栏
12-09 1435
方案一： #!/bin/bash . /etc/profile check() { ip_addr=$(ifconfig -a|grep -o -e 'inet addr:[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}'|grep -v "127.0.0"|awk '{print $2}') # 报警通知 ip_addr Pres...
presto主节点启动异常问题
L13763338360的博客
05-25 3137
问题描述 presto集群有几十个节点，修改了功能，需要拿几台节点验证一下。选择一个从节点作为主节点，修改了配置，但发现服务启动后一直报错：Service announcement failed 2020-05-25T15:05:03.664+0800 INFO main Bootstrap cassandra.load-policy.use-token-aware false false 2020-05-25...
presto集群启动
qq5132834的专栏
10-21 3413
1、启动mysql 启动docker [root@worker-presto scsi]# cd docker [root@worker-presto docker]# dockerd & 查看是否启动正常 [root@worker-presto docker]# ps -ef | grep mysql systemd+ 3116 3102 1 16:14 ? ...
Mac下Presto源码启动教程（DB版）0.219版本
一名程序猿的博客
03-18 546
Mac下Presto源码启动教程（DB版）0.219版本 一、所需环境 1、jdk1.8+ 2、Linux或macOS 3、python2.7+ 4、presto-server-0.219服务程序 二、启动步骤 1、通过idea导入presto代码：https://github.com/prestodb/presto 2、进入terminal中，进入presto下载目录，执行命令： git checkout 0.219 #切换presto版本至0.219，否则无法启动 3、等待Maven加载对应jar
Presto启动报错：No such file or directory
lucyLee的博客
07-07 676
sudo方式启动Presto，提示No such file or directory
大数据常见错误及解决方案
lv_hulk的博客
02-16 9765
大数据常见错误及解决方案（转载） 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=“127.0.0.1” to spark-env.sh 2、java Kafka producer error:ERROR kafka.util
大数据之Presto：安装部署
maoyuanming0806的博客
05-03 1173
记录过程 概述 这里就不复制粘贴了，描述自己理解的。具体详细的使用和介绍需要去官网学习更好 2014年由FaceBook开源，为了解决自身规模的商业数据仓库的交互式分析和处理速度的问题 OLAP大数据查询引擎，适用于交互式分析查询，数据量支持GB到PB字节 设计为秒至分钟级别的响应 master-slave架构（Coordinator-Worker） 不是数据库只是个查询引擎（计算引擎），不...
Presto单体/集群环境搭建方法
一名程序猿的博客
03-10 1120
Presto单体/集群搭建方法 一、所需环境 1、Mac OS系统或Linux 2、jdk8以上 yum install java-1.8.0-openjdk #centos系统 3、MySQL/Hive数据源环境 使用windows下的对应mysql数据库即可，开启数据库远程访问 use mysql; select host from user; #查看是否允许远程登录 update user set host ='%' where user ='root'; exit; #重新启动mysql服务 se
大数据面试题之Presto[Trino](5)
最新发布
自律给我自由
07-06 1135
大数据面试题之Presto[Trino](5)
presto-admin：Presto集群安装与管理工具
结合标签信息，“presto-admin”、“Presto”、“安装工具”、“集群管理”、“配置管理”共同勾勒出该工具的应用范畴：它不是一个通用的系统管理平台，而是专门为 Presto 设计的垂直领域运维解决方案。其目标用户...
presto热加载
09-06
presto热加载catalog下的配置，无须重启presto，实时更新配置
Ambari界面Presto重启报错ERROR:presto_client:Error connecting to presto server at: localhost:8285
周源的专栏
09-13 1962
重启失败，实际上通过后台命令/etc/init.d/presto status查看 是正在运行的 解决办法： # cd /var/lib/ambari-agent/cache/stacks/HDP/2.6/services/PRESTO/package/scripts # vim presto_coordinator.py  注释掉冒烟测试函数
Presto【部署 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证（详细配置说明+Yanagishima已编译文件分享
2401_84591930的博客
05-14 763
### 1.4 验证前端验证 `http://tcloud:8883` ：![在这里插入图片描述](https://img-blog.csdnimg.cn/8facf8440ac6496aa31103f924ec485a.png#pic_center)### 2. Yanagishima安装配置网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取。
＜记＞ 一次Presto踩坑日志
weixin_44560999的博客
03-16 612
<记> 一次Presto踩坑日志 Presto任务执行大量失败报错 查看新扩容Presto—Work机器配置： 展示的是操作系统允许的线程总数和能够打开文件数的大小 问题原因：扩容的2台机器 操作系统参数设置较小，presto进程达到了系统所限制的最大打开文件数量。 解决方案：下线新扩容机器 cat /etc/security/limits.d/90-nproc.conf - nofile 65536 - nproc 65536 重启进程 cd presto/bin/ ./la
Ambari安装presto服务
x²＋(y－√³x²)²＝1的博客
01-07 1355
一、前提环境 确保 Ambari 已安装好 HDP2.6 确保 Python 服务软链指向的环境变量是系统自带的 Python ，若使用 Anaconda 带的 Python ，后续安装 Presto 会报错 no module named rpm 禁用 requiretty ，否则，后续安装 Presto 会报错：sudo：sorry，you must have a tty to run sudo 1、禁用 requiretty 方法 编辑 /etc/sudoers 文件，注释掉 Defaults r
presto中sql
weixin_61352535的博客
07-25 1103
presto的配置文件的使用
KeepAlive + VIP 配置高可用Presto-master主备集群(单活）
liyanling的博客
01-22 3360
一、 背景         本文主要介绍使用 keepalive 实现 presto 的主备高可用，只能有一个节点存活的情况下，使用此方案。         实验环境：CentOS 6 64 位   二、 实验步骤 1. 软件安装 安装keepalive软件包 sudo yum install -y keepalived presto部署和配置省略，假设进程已经启动，端口监听在...
presto 启动命令
前方的路在刚开始
09-07 4315
我发现找个启动命令都这么难 (presto路径)presto-cli --server (ip地址或者节点名称):7080 --catalog hive 比如 /data/presto/presto-cli --server node01:7080 --catalog hive 查询 select * from database.table limit 10; ...
Presto【环境搭建 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证（详细配置说明+Yanagishima已编译文件分享）
シ風
12-07 2368
摘要： 本文详细介绍了Presto服务的安装、配置、启动及验证过程，并提供了客户端Web工具Yanagishima的安装指南。主要内容包括：1）Presto的安装步骤（解压并移动至目标目录）；2）关键配置文件说明（节点属性、JVM配置、服务配置及日志级别）；3）单节点测试环境的配置示例（coordinator与worker合一）；4）Catalog属性配置及数据源连接方法。针对低配置服务器（1核2G）优化了参数设置（如JVM内存限制为1GB），确保服务稳定运行。
掌握Presto与Power BI集成的解决方案
- 提供必要的开发和部署脚本，例如构建Presto连接器或Power BI报告的自动化工具。 - 版本控制策略和源代码管理实践。 需要注意的是，由于文件描述和标签并未提供详细信息，以上知识点是基于文件名进行合理推测...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值