strom on yarn 搭建过程出现的问题

最新推荐文章于 2024-06-19 01:18:34 发布

原创最新推荐文章于 2024-06-19 01:18:34 发布 · 324 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#storm #yarn #Invalid #端口

本文解决Stromonyarn搭建过程中遇到的yarn-site.xml配置问题及端口被占用导致的连接错误。通过调整配置文件中的Zookeeper集群地址和选择未被占用的端口来解决这些问题。

strom on yarn 搭建过程出现的问题

出现如下错误需要修改yarn-site.xml配置

Invalid resource request, requested virtual cores < 0, or requested virtual

这里写图片描述

出现端口被占用和拒绝连接

could not create serversocket on address

这里写图片描述

解决办法

在storm.yarn文件中添加zookeeper集群地址和没有被占用的端口。

这里写图片描述

查看那些端口没有被占用方法
netstat -na|grep 端口

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xu_p_p

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程

JasonLee实时计算

11-11

6764

前面一篇博客中已经搭建了flinkStandalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务.这篇博客写的比较详细,内容较多,希望大家耐心看完,干货满满版本信息: flink-1.6.0 zookeeper-3.4.10 hadoop-2.9.0 zk和hadoop集群的搭建,今天这里就不说了,主要说一下flink的. ...

流式数据采集和计算（十三）：基于CDH的Storm+Spark (on yarn 模式)集群部署

叶子叶来

10-13

6498

一、CDH部署环境：主机5台，普通用户stream免密；本地yum源已配置， 1、环境准备防火墙、selinux的状态disable、root免密、句柄数（每个主机上能打开的文件数）、/etc/hosts--分发（ansible工具批量分发）； 2、做一个CM的yum源： ① 装http的rpm包，yum -install http(打开80端口) ② CM和CDH包...

参与评论您还未登录，请先登录后发表或查看评论

yarn 报错 requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCo...

weixin_30505043的博客

10-30

1469

yarn 报错 requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=6, maxVirtualCores=4 原因 INFO ApplicationMaster:54 - Final app ...

flink 报错：InvalidResourceRequestException

那又怎样？的博客

12-13

1515

1.运行命令：./yarn-session.sh -n 4 -tm 1024 -s 8 报错堆栈轨迹如下： 2018-12-13 15:41:23,092 ERROR org.apache.flink.yarn.YarnFlinkResourceManager - FATAL ERROR IN YARN APPLICATION MASTER: Connecti...

Yarn application has already ended! It might have been killed or unable to launch application master

微电子学与固体电子学-俞驰

05-01

2907

启动命令: spark-shell --master yarn --driver-memory 4g --executor-memory 4g --num-executors 6 --executor-cores 4 完整报错如下: Setting default log level to "WARN". To adjust logging level use sc.setLogLev...

storm on yarn 最简单安装笔记！！！私货哦！！！

微尘的世界

12-14

253

http://blog.youkuaiyun.com/jiushuai/article/details/26693311 http://blog.youkuaiyun.com/jiushuai/article/details/18729367 http://www.cnblogs.com/byrhuangqiang/p/3824540.html http://zh.hortonworks.com/kb/s...

Storm On YARN

赵英超的博客

03-22

2687

Storm On YARN带来的好处相比于将Storm部署到一个独立的集群中，Storm On YARN带来的好处很多，主要有以下几个：弹性计算资源：将Storm运行到YARN上后，Storm可与其他应用程序（比如MapReduce批处理应用程序）共享整个集群中的资源，这样，当Storm负载骤增时，可动态为它增加计算资源，而当负载减小时，可释放部分资源，从而将这些资源暂时分配给负载更重的批处理应...

Flink On Yarn部署讲解

靡不有初，鲜克有终

06-18

760

通过上节课的一些学习的话，我们了解了flinkonstandardlow的这样的一种集群部署模式的一些原理，以及它的一些具体的实践的一些操作。从本节课开始的话，我们重点去了解一下flinkon药的一些基本原理，以及它的一个实践的一个操作。首先我们先了解一下要的一个集群的一个架构的一个原理。对于做过大数据开发的这样的一些人员来讲的话，他其实对哈托普ER其实并不陌生。这个是作为我们整个大数据里面非常主流的这样的一个集群资源管理器。提供了这样的一套统一的一个资源管理和调度，以及我们的一个资源的一个操作。

Spark on YARN集群部署指南

YARN（Hadoop Yet Another Resource Negotiator）模式是Hadoop的资源调度器，能够统一管理集群资源，支持多种计算框架，如MapReduce和Storm。文档指出，实际生产环境中，大多数采用的是Hadoop YARN作为集群管理器...

Yarn原理与代码实例讲解

最新发布

AI天才研究院

06-19

1407

在大数据时代,Apache Hadoop作为一个开源的分布式系统基础架构,已经成为了企业存储和大数据处理的核心平台。Hadoop的两大核心组件是HDFS分布式文件系统和MapReduce计算框架。然而,MapReduce在处理大规模数据时存在许多不足,比如任务设置繁琐、资源利用率低、应用之间相互影响等。为了解决这些问题,Apache Hadoop 3.1.0版本引入了全新的资源管理和作业调度系统Yarn(Yet Another Resource Negotiator)。

解决Storm 和yarn 8080 端口冲突

weixin_30867015的博客

09-29

208

本机装了Yarn和Storm后，启动Storm后，发现NodeMange无法启动，找了下没找着在哪修改。只好修改Storm的配置,在配置上添加 ui.port: "9999" 再启动，问题解决. 转载于:https://www.cnblogs.com/chengxin1982/p/4001007.html...

Storm On Yarn部署

ccsu_001的专栏

03-26

3870

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传 LaTex数学公式 UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

Storm 的扩展：与 YARN 的结合

实践求真知

01-05

2061

一关于YQRN 二 Storm与Yarn结合优势三当前存在问题

yarn资源调度设置

chbxw

11-06

3318

参考： https://stackoverflow.com/questions/51704288/deploying-application-with-spark-submit-application-is-added-to-the-scheduler-a 问题：任务提交到yarn的调度器，但是没有激活 Deploying application with spark-submit: Appli...

大数据中的组件报错及解决方法集锦——spark

腼腆纯朴、程序猿的专栏

01-26

3922

1、spark版本不对 "Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)' FAILED: Execution Error, return code 1 from org.apache.had

hive在新增内部表的数据报错：Invalid resource request, requested memory ＜ 0, or requested memory ＞ max configured

V_YES_ME的博客

08-27

1946

java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024 at org.apache.hadoop.yarn.server.resou

Flink standalone/yarn模式部署

victory0508的专栏

09-22

496

1. 规划目录： /home/user/flink 2. 解压文件并重命名 tar zxvf flink-1.11.1-bin-scala_2.11.tgz mv flink-1.11.1 flink 3. 配置conf 3.1flink-conf.yaml 在Common部分增加或设置如下： env.java.home: /usr/java/default state.savepoints.dir: hdfs:/flink/savepoints jobmanager.rpc.addr...

storm on yarn 部署

08-26

3193

1. 环境介绍1.1 节点与服务映射关系 ip host 服务 192.168.40.132 master Namenode、NodeManager、DataNode、zookeeper 192.168.40.133 slave1 ResurceManager、NodeManager、DataNode、zookeeper 192.168.40.134 sla

zeroMQ/jzmq 安装