Mesos 多log_dir,work_dir问题

最新推荐文章于 2024-04-16 20:00:00 发布
原创 最新推荐文章于 2024-04-16 20:00:00 发布 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Mesos work_dir 多目录

Mesos不论master还是slave，启动的时候都会有两个重要参数“--work_dir”和“--log_dir”。

--log_dir 存放日志文件，不多解释。

--work_dir 存放一些持久化的文件、executor fetch下来的执行文件，以及一些framwork的日志文件。


在网上找了很久，所有的这两个配置都是指向一个单独的目录。我想问能不能类似于hadoop中的dfs.datanode.data.dir，或者yarn中yarn.nodemanager.local-dirs这种参数，能指定多个目录？ 

毕竟一个目录只能在一个磁盘上，单个磁盘的容量有限。如果能指定多个目录就能指定多个挂载的磁盘。我做了些测试，也看了点源码，貌似mesos这两个参数就是指定单个目录的，不知道各位大侠怎么解决单个目录(磁盘)空间有限的问题？

【kafka源码】/log_dir_event_notification的LogDir脱机事件通知
石臻臻的杂货铺(szzdzhp001)
05-05 2801
前言 我们会看到zk的数据中有一个节点/log_dir_event_notification/，这是一个序列号持久节点 这个节点在kafka中承担的作用是: 当某个Broker上的LogDir出现异常时(比如磁盘损坏,文件读写失败,等等异常): 向zk中谢增一个子节点/log_dir_event_notification/log_dir_event_序列号 ；Controller监听到这个节点的变更之后,会向Brokers们发送LeaderAndIsrRequest请求; 然后做一些副本脱机的善后操作
12、Mesos 集群部署与配置全攻略
最新发布
melon的博客
08-02 4
本文详细介绍了使用Puppet、SaltStack、Chef、Terraform和Cloudformation等多种工具部署和配置Mesos集群的方法。每种工具的部署流程和关键配置步骤均有详细说明，帮助用户根据实际需求选择合适的方案实现Mesos集群的自动化配置与管理。
WORKDIR
s2421458535的博客
05-05 6574
一、WORKDIR指令说明 用来指定当前工作目录（或者称为当前目录） 当使用相对目录的情况下，采用上一个WORKDIR指定的目录作为基准 相当与cd 命令，但不同的是指定了WORKDIR后，容器启动时执行的命令会在该目录下执行 二、案例 1.dockerfile内部使用WORKDIR指令 首先，先创建一个dockerfile： #base image FROM cent...
Kafka设置系统运行日志输出路径
热门推荐
黄刚的技术博客
07-28 2万+
默认Kafka运行的时候都会通过log4j打印很多日志文件，比如server.log, controller.log, state-change.log等，而都会将其输出到$KAFKA_HOME/logs目录下，这样很不利于线上运维，因为经常容易出现打爆文件系统，一般安装的盘都比较小，而数据和日志会指定打到另一个或多个更大空间的文件pan
Mesos-日志和监控功能
adson1987的博客
05-13 5566
Mesos-日志和监控功能主节点监控从节点监控 Mesos自身提供了强大的日志和监控功能，某些应用框架也提供了针对框架中任务的监控能力。 通过这些接口，用户可以实时获取集群的各种状态。 日志文件默认在/var/log/mesos目录下，根据日志等级带有不同的后缀。 用户可以通过日志来调试使用中碰到的问题。 一般推荐用–log_dir选项来指定日志存放路径，并通过日志分析引擎来进行监控。 Mesos...
mac实战mesos
大学之道
05-10 361
如果程序一直deploy说明一定有问题 mac安装 brew install mesos brew upgrade mesos 启动zookeeper 启动master HOST_IP=100.80.128.98 sudo /usr/local/C...
#!/usr/bin/env bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the Apache License, Version 2.0 # (the "License"); you may not use this file except in compliance with # the License. You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. # # This file is sourced when running various Spark programs. # Copy it as spark-env.sh and edit that to configure Spark for your site. # Options read when launching programs locally with # ./bin/run-example or ./bin/spark-submit # - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files # - SPARK_LOCAL_IP, to set the IP address Spark binds to on this node # - SPARK_PUBLIC_DNS, to set the public dns name of the driver program # Options read by executors and drivers running inside the cluster # - SPARK_LOCAL_IP, to set the IP address Spark binds to on this node # - SPARK_PUBLIC_DNS, to set the public DNS name of the driver program # - SPARK_LOCAL_DIRS, storage directories to use on this node for shuffle and RDD data # - MESOS_NATIVE_JAVA_LIBRARY, to point to your libmesos.so if you use Mesos # Options read in any mode # - SPARK_CONF_DIR, Alternate conf dir. (Default: ${SPARK_HOME}/conf) # - SPARK_EXECUTOR_CORES, Number of cores for the executors (Default: 1). # - SPARK_EXECUTOR_MEMORY, Memory per Executor (e.g. 1000M, 2G) (Default: 1G) # - SPARK_DRIVER_MEMORY, Memory for Driver (e.g. 1000M, 2G) (Default: 1G) # Options read in any cluster manager using HDFS # - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files # Options read in YARN client/cluster mode # - YARN_CONF_DIR, to point Spark towards YARN configuration files when you use YARN # Options for the daemons used in the standalone deploy mode # - SPARK_MASTER_HOST, to bind the master to a different IP address or hostname # - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master # - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y") # - SPARK_WORKER_CORES, to set the number of cores to use on this machine # - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g) # - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker # - SPARK_WORKER_DIR, to set the working directory of worker processes # - SPARK_WORKER_OPTS, to set config properties only for the worker (e.g. "-Dx=y") # - SPARK_DAEMON_MEMORY, to allocate to the master, worker and history server themselves (default: 1g). # - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. "-Dx=y") # - SPARK_SHUFFLE_OPTS, to set config properties only for the external shuffle service (e.g. "-Dx=y") # - SPARK_DAEMON_JAVA_OPTS, to set config properties for all daemons (e.g. "-Dx=y") # - SPARK_DAEMON_CLASSPATH, to set the classpath for all daemons # - SPARK_PUBLIC_DNS, to set the public dns name of the master or workers # Options for launcher # - SPARK_LAUNCHER_OPTS, to set config properties and Java options for the launcher (e.g. "-Dx=y") # Generic options for the daemons used in the standalone deploy mode # - SPARK_CONF_DIR Alternate conf dir. (Default: ${SPARK_HOME}/conf) # - SPARK_LOG_DIR Where log files are stored. (Default: ${SPARK_HOME}/logs) # - SPARK_LOG_MAX_FILES Max log files of Spark daemons can rotate to. Default is 5. # - SPARK_PID_DIR Where the pid file is stored. (Default: /tmp) # - SPARK_IDENT_STRING A string representing this instance of spark. (Default: $USER) # - SPARK_NICENESS The scheduling priority for daemons. (Default: 0) # - SPARK_NO_DAEMONIZE Run the proposed command in the foreground. It will not output a PID file. # Options for native BLAS, like Intel MKL, OpenBLAS, and so on. # You might get better performance to enable these options if using native BLAS (see SPARK-21305). # - MKL_NUM_THREADS=1 Disable multi-threading of Intel MKL # - OPENBLAS_NUM_THREADS=1 Disable multi-threading of OpenBLAS # Options for beeline # - SPARK_BEELINE_OPTS, to set config properties only for the beeline cli (e.g. "-Dx=y") # - SPARK_BEELINE_MEMORY, Memory for beeline (e.g. 1000M, 2G) (Default: 1G) #设置JAVA安装目录 JAVA_HOME=/export/server/jdk1.8.0_401 # HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群 HAD00P_CONF_DIR=/export/server/hadoop-3.3.6/etc/hadoop YARN_CONF_DIR=/export/server/hadoop-3.3.6/etc/hadoop #指定spark老大Master的IP和提交任务的通信端口 #告知Spark的master运行在哪个机器上 #export SPARK_MASTER_HOST=node1 #告知sparkmaster的通讯端囗 export SPARK_MASTER_PORT=7077 #告知spark master的 webui端端口 SPARK_MASTER_WEBUI_PORT=8080 # worker cpu可用核数 SPARK_WORKER_CORES=1 #worker可用内存 SPARK_WORKER_MEMORY=1g # worker的工作通讯地址 SPARK_WORKER_PORT=7078 # worker的 webui地址 SPARK_WORKER_WEBUI_PORT=8081 #设置历史服务器 #配置的意思是将spark程序运行的历史日志存到hdfs的/sparklog文件夹中 SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true" SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark-ha" # spark.deploy.recoveryMode 指定HA模式基于zookeeper实现 #指定Zookeeper的连接地址#指定在zookeeper中注册临时节点的路径 在这个spark-env中如何把8080网址中的spark链接链接编程主机名node1:7077，node2:7077，node3:7077
08-02
但是，注意用户要求配置为多个节点（node1:7077, node2:7077, node3:7077），这实际上是Master的通信端口（用于应用程序提交和集群通信），而Web UI的端口通常为8080（默认）或18080（对于History Server）。...
容器化部署Mesos/Marathon
Carlos An
08-21 1301
一.Mesos/marathon Mesos容器编排工具,有master和slave节点。 二级调度。 marathon框架。 二.使用容器搭建mesos/marathon 将Spring boot项目docker化之后，准备使用Mesos来编排管理。 可惜革命尚未成功，先行记录如何部署的环境。 （marathon部署spring boot应用（docker镜像）总是重新部署，报错信...
mesos运行spark框架
weixin_36448728的博客
02-28 2703
所在的团队需要引入mesos平台以便运行spark并行计算，花了几天时间部署并测试运行成功，将步骤及遇到的问题整理一下。 1、mesos安装。 先是采用第三方的二进制包mesosphere安装，然后配置。这一个叫简单，下载到二进制包即可。 然后采用了源码编译的安装，安装步骤及遇到的问题如下说明： 1.1 下载meso源码包，链接：https://pan.baidu.com/s/1nwCwF...
基于 Docker 部署 ZooKeeper+Mesos+Marathon 群集（单节点）
Xucf1
06-27 1027
文章目录前言前置知识点简介环境准备（Docker）1）拉取相关镜像2）ZooKeeper3）Mesos-Master4）Mesos-Slave5）Marathon（测试） 前言 使用软件：VMware Workstation 16 Pro ISO映像文件：CentOS 7 本教程将会给你展示，如何使用Docker容器，仅需一台主机，来迅速部署一个单节点的Mesos集群！ 前置知识点简介 ZooKeeper：用来给集群服务维护配置信息及域名服务，并提供分布式同步和组服务，是是个分布式的，开源的协调服务（维护
清空Tomcat中的work目录并重启Tomcat.bat
08-15
清空Tomcat中的work目录并重启Tomcat.bat，为java开发提供方便！！！ 注意修改work目录
【kafka】kafka /log_dir_event_notification的LogDir脱机事件通知
九师兄
03-28 508
1.概述 我们会看到zk的数据中有一个节点/log_dir_event_notification/，这是一个序列号持久节点 这个节点在kafka中承担的作用是: 当某个Broker上的LogDir出现异常时(比如磁盘损坏,文件读写失败,等等异常): 向zk中谢增一个子节点/log_dir_event_notification/log_dir_event_序列号 ；Controller监听到这个节点的变更之后,会向Brokers们发送LeaderAndIsrRequest请求; 然后做一些副本脱机的善后操作.
mesos集群搭建
jfengamarsoft的博客
07-05 1897
准备工作Mesos是一个资源管理平台，架构和YARN相似，但稳定性和性能更好，遂决定尝试部署Mesos。1、准备工作1)、三台机器,CentOS 7.1系统(在/etc/hosts中配置，其中192.168.63.128是master，其它两台是slave)：192.168.63.128 master192.168.63.130 slave2192.168.63.131 slave1安装顺序：首先安
Mesos Configuration
vbaspdelphi的专栏
10-29 1018
http://mesos.apache.org/documentation/latest/configuration/ mesos masterh以及agent可以带在命令行里带有一些配置选项，或者通过环境变量的方式。 可以通过 mesos-master –help 或者 mesos-agent –help的方式获取选项列表。每个选项可以通过两个方式进行设置： * 通过向二进制程序传递 –opti
Logback日志学习
qq_25212529的博客
02-19 186
Logback日志学习 直接上代码 相关注释都在代码中 最后打印日志为异步按照日期输出不同等级的日志文件 <?xml version="1.0" encoding="UTF-8"?> <configuration> <property name="pattern" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] %c %M %L [%thread] %msg%n"></property> <!-
获取shell脚本所处路径
ylxwk的博客
03-22 3702
准确获取shell脚本所处路径
【Python】新手入门学习：什么是工作目录，在实际编程中如何应用
m0_58477260的博客
04-16 2113
工作目录是Python编程中一个非常重要的概念。了解如何查看和设置工作目录，以及如何在不同的目录下使用相对路径和绝对路径，对于编写健壮和可维护的Python程序至关重要。通过掌握这些知识，你可以更加自信地处理文件和目录操作，避免常见的路径问题，并编写出更加高效和可靠的代码。随着你对Python编程的深入学习，你将发现工作目录的概念在很多场景下都会用到，无论是数据处理、项目管理还是模块导入。因此，花一些时间来熟悉和掌握这个概念是非常值得的。
bat脚本 svn更新和提交(可直接使用)
闲人一小枚
03-22 1万+
脚本内容 @echo off CHCP 936 title svn批量更新和提交 @echo ****************************************************** @echo svn批量更新和提交 @echo work_dirs 需要更新的目录路径,路径之间用空格隔开 @echo *********************************...
mmdeploy windows下pth2onnx 并对onnx进行量化
hasque2019的博客
11-23 1068
后期有时间学一下怎么部署自己的模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值