Mesos+Docker+Marathon环境搭建教程

docker 集群管理实战mesos+zookeeper+marathon(三) https://www.toutiao.com/article/7221354604351537698/?log_from=6b55db495da1d_1681366356776这个教程主要演示部署和使用marathon./start --hostname 192.168.23.101 --master zk://192.168.23.101:2181,192.168.23.102:2181,192.168.23.103:2181/mesos --http_address 0.0.0.0点击Framewor 阅读详情

官方Doc

Mesos:http://mesos.apache.org/gettingstarted/

Mesos学习:https://www.gitbook.com/book/mesos-cn/mesos-cn/details

Docker:https://docs.docker.com/engine/installation/linux/ubuntulinux/

安装Marathon:https://mesosphere.github.io/marathon/docs/

架构原理

下图描述了一个 Framework 如何通过调度来运行一个 Task:

 

事件流程:

1、Slave1 向 Master 报告,有4个CPU和4 GB内存可用

2、Master 发送一个 Resource Offer 给 Framework1 来描述 Slave1 有多少可用资源

3、FrameWork1 中的 FW Scheduler会答复 Master,我有两个 Task 需要运行在 Slave1,一个 Task 需要<2个cpu,1 gb内存="">,另外一个Task需要<1个cpu,2 gb内存="">

4、最后,Master 发送这些 Tasks 给 Slave1。然后,Slave1还有1个CPU和1 GB内存没有使用,所以分配模块可以把这些资源提供给 Framework2

当 Tasks 完成和有新的空闲资源时,Resource Offer 会不断重复这一个过程。 当 Mesos 提供的瘦接口允许其来扩展和允许 frameworks 相对独立的参与进来,一个问题将会出现: 一个 framwork 的限制如何被满足在不被 Mesos 对这些限制所知晓的情况下? 例如, 一个 framework 如何得到数据本地化在不被 Mesos所知晓哪个节点存储着被该 framwork 所需要的数据?Mesos 通过简单的寄予 frameworks 能够拒绝 offers 的能力来回答了这个问题。 一个 framework 将拒绝不满足其限制要求的 offers 并接受满足其限制要求的 offers. 特殊情况下,我们找到一个简单的策略 delay scheduling, 在该 frameworks 等待 一个限制时间来获取存储输入数据的节点,并生成接近的优化过得数据点。


安装参考

Mesos-master:10.63.51.231

Mesos-slave1:10.63.51.230

Mesos-slave2:10.63.51.232

安装记录

安装依赖

安装Python依赖

apt-get install curl python-setuptoolspython-pip python-dev python-protobuf

安装配置ZooKeeper

apt-get install ZooKeeperd

echo 1 | sudo dd of=/var/lib/ZooKeeper/myid

安装Mesos

1、 安装各种环境依赖:

# Update the packages.

$ sudo apt-get update

 

# Install a few utility tools.

$ sudo apt-get install -y tar wget git

 

# Install the latest OpenJDK.

$ sudo apt-get install -y openjdk-7-jdk

 

# Install autotools (Only necessary if building from gitrepository).

$ sudo apt-get install -y autoconf libtool

 

# Install other Mesos dependencies.

$ sudo apt-get -y install build-essential python-devlibcurl4-nss-dev libsasl2-dev libsasl2-modules maven libapr1-dev libsvn-dev

 

2、 下载安装包

$ wget http://www.apache.org/dist/mesos/0.28.2/mesos-0.28.2.tar.gz

$ tar -zxfmesos-0.28.2.tar.gz

 

3、 编译&&安装:

$ cdmesos

$./bootstrap(从官网下载的安装包不需要这一步,git上下载的包需要)

$ mkdirbuild

$ cdbuild

$../configure

$ make (这一步时间比较长,如果卡住时间特别长考虑机器配置问题)

# Runtest suite.

$ make check(时间也特别长,可略过)

$ makeinstall

安装配置ZooKeeper

apt-get install ZooKeeperd

echo 1 | sudo dd of=/var/lib/ZooKeeper/myid

 

配置mesos-master(只需要主节点配置,从属节点可略过)

mkdir -p /etc/Mesos-master

echo in_memory | sudo ddof=/etc/Mesos-master/registry

 

安装Deimos

Mesos通过Deimos 管理Docker,通过pip安装Deimos:

$ pip install deimos

配置mesos 使用Deimos

$ mkdir -p/etc/mesos-slave

$ echo/usr/local/bin/deimos | sudo dd of=/etc/mesos-slave/containerizer_path

$ echo external | sudodd of=/etc/mesos-slave/isolation

 

安装docker

参考:https://docs.docker.com/engine/installation/linux/ubuntulinux/

安装Marathon

$ curl -Ohttp://downloads.mesosphere.com/marathon/v1.1.1/marathon-1.1.1.tgz

$ tar xzf marathon-1.1.1.tgz

启动服务

启动所有服务 :

$ initctlreload-configuration

$ service dockerstart

$ servicezookeeper start

在所有的节点上配置ZooKeeper

在配置maser节点和slave节点之前,需要先在所有的6个节点上配置一下ZooKeeper,配置步骤如下:

修改zk的内容

sudo vi /etc/Mesos/zk

将zk的内容修改为如下:

zk://10.162..2.91:2181,10.162.2.92:2181,10.162.2.93:2181/Mesos(master-ip:port,master-ip:port……,只需加master的zookeeper地址)

配置所有的master节点

 

在所有的master节点上都要进行如下操作:

修改ZooKeeper的myid的内容

sudo vi /etc/ZooKeeper/conf/myid

 

将三个master节点的myid按照顺序修改为1,2,3。(本例中master有三个节点)

修改ZooKeeper的zoo.cfg

sudo vi/etc/ZooKeeper/conf/zoo.cfg

 

server.1=10.162.2.91:2888:3888

server.2=10.162.2.92:2888:3888

server.3=10.162.2.93:2888:3888

修改Mesos的quorum

sudo vi /etc/Mesos-master/quorum

将值修改为2。

配置master节点的Mesos 识别ip和和hostname(以在master1上的配置为例)

echo 10.162.2.91 | sudo tee/etc/Mesos-master/ip

 

sudo cp /etc/Mesos-master/ip/etc/Mesos-master/hostname

 

配置所有的slave节点

配置slave节点的识别ip和hostname(根据实际情况填写)

echo 192.168.2.94 | sudo tee/etc/Mesos-slave/ip

sudo cp /etc/Mesos-slave/ip/etc/Mesos-slave/hostname

 

在所有节点上启动服务

 

在master节点上启动服务(以在master1节点上为例)

initctl reload-configuration

service docker start

service zookeeper start

运行mesos-master:

./bin/mesos-master.sh --ip=10.63.51.231--work_dir=/var/lib/mesos --zk=zk://10.63.51.231:2181/mesos --quorum=1

 

运行mesos-slave:

./mesos-slave.sh --ip=10.63.51.230--work_dir=/var/lib/mesos --master=10.63.51.231:5050 --containerizers=docker,mesos--log_dir=/var/log/ --docker=/usr/bin/docker--executor_registration_timeout=5mins

 

启动Marathon:

./bin/start --masterzk://10.63.51.231:2181/mesos --zk zk://10.63.51.231:2181/marathon

 

Error:May 12 10:09:18 mesos-master marathon[3611]: Exception in thread "main" java.lang.UnsupportedClassVersionError: mesosphere/marathon/Main : Unsupported major.minor version 52.0
May 12 10:09:18 mesos-master marathon[3611]: #011at java.lang.ClassLoader.defineClass1(Native Method)
May 12 10:09:18 mesos-master marathon[3611]: #011at java.lang.ClassLoader.defineClass(ClassLoader.java:803)
May 12 10:09:18 mesos-master marathon[3611]: #011at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)

 

Solution:It worked. Marathon needs jdk8. I forgot to mention that I'm on Ubuntu 14.04

sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt-get update
sudo apt-get install openjdk-8-jdk
sudo update-alternatives --config java
sudo update-alternatives --config java

 

好,至此,如果配置没有出现错误的话就会成功了,由于有的网络情况和设备情况不一样,所以选举的过程有的快有的慢,当发现slave节点有些正常有些不正常时,可以通过reboot来促使自己被master发现。

 

Mesos Web UI: http://10.63.51.231:5050/

Marathon Web UI: http://10.63.51.231:8080

基于Mesos+Marathon+Zookeeper的Docker集群管理环境搭建过程分享 前言本文为搭建高可用的基于Mesos+Marathon+Zookeeper管理Docker集群的环境,资源有限仅使用两台服务器进行环境搭建(多台同理)。 系统环境:Ubuntu 14.04、JDK1.8 所需工具:Mesos-1.1、Marathon-1.3.5、Docker-1.12.5、Zookeeper-3.4.9 服务器分配(双主高可用集群): IP 192.168.8.68:Java、M 阅读详情

相关推荐

基于 Docker 部署 ZooKeeper+Mesos+Marathon 群集(单节点)

文章目录前言前置知识点简介环境准备(Docker)1)拉取相关镜像2)ZooKeeper3)Mesos-Master4)Mesos-Slave5)Marathon(测试) 前言 使用软件:VMware Workstation 16 Pro ISO映像文件:CentOS 7 本教程将会给你展示,如何使用Docker容器,仅需一台主机,来迅速部署一个单节点的Mesos集群! 前置知识点简介 ZooKeeper:用来给集群服务维护配置信息及域名服务,并提供分布式同步和组服务,是是个分布式的,开源的协调服务(维护

Xucf1 1155

保姆级丨Mesos & Marathon部署

Mesos是以与Linux内核同样的原则而创建的,不同点仅仅是在于抽象的层面。Mesos内核运行在每一个机器上,同时通过 API 为各种应用提供跨数据中心和云的资源管理调度能力。这些应用包括Hadoop、Spark、Kafka、Elastic Search。还可配合框架 Marathon 来管理大规模的Docker等容器化应用。

尼泊罗河伯的博客 2239

Marathon+Mesos+Docker部署记录

网上有很多关于本主题的部署文档,有几篇已经将原理也说明的非常清楚。但是自己部署发现还是与别人说的有不同之处。因此记录下:本文档以阿里云经典网络ECS部署为例规划(2master+4slave)master:106.14.196.38172.19.6.57 ---784613---master1106.14.4.78172.19.6.58 ---553040---master2配置master节点(...

johnhill_的博客 753

搭建marathon和mesos单机环境

marathon + mesos + docker 环境搭建 1. 系统要求:Ubuntu14.04, 安装jdk1.8(marathon)    apt-get update    sudo apt-get install -y tar wget git    sudo apt-get install -y autoconf libtool    sudo apt-get -y i

yarntime的博客 2213

mesos-marathon-demo:Mesosmarathon + 码头工人

Mesos-马拉松演示 环境准备 只需按照vagrant-mesos目录中的说明进行操作即可。 一旦你的 vagrant 机器在安装了 mesos 和 marathon 的情况下运行,你可以继续以下部分。 构建图像 为了能够使用 docker 执行示例,目录docker-image包含构建和创建 docker 实例所需的步骤。 运行图像 为了在马拉松中部署一个新的应用程序,只需要制作一个 Http POST curl -XPOST -H " Content-Type:application/json " " http://192.168.33.10:8080/v2/apps " -d @/Users/johndoe/Documents/mesos-marathon/app.json json 文件的内容显然取决于我们要部署的应用程序类型。 以下部分包含几个示例。 安装tomcat服务器

Mesos+Zookeeper+Marathon的Docker管理平台部署记录(个人珍藏版)

本篇文章详细记录了Mesos+Zookeeper+Marathon的Docker管理平台部署过程,可作为线上实操手册,文档可用性已经过验证!有需要的朋友,请拿走。

Vagrant-Mesos 项目教程

Vagrant-Mesos 项目教程 项目介绍 Vagrant-Mesos 是一个开源项目,旨在通过 Vagrant 工具在 VirtualBox 和 AWS 上快速搭建 Mesos 集群。该项目支持 Mesos 0.22.1 版本,并集成了 Marathon 和 Chronos 框架,使得用户可以轻松构建自己的 Mesos+Marathon+Chronos+Docker PaaS 环境。 项目快...

gitblog_00292的博客 937

PCIe链路均衡实战:从Preset调节到系数优化的完整指南(附Synopsy IP案例)

本文深入解析PCIe链路均衡技术,从Preset调节到系数优化的全流程实战指南,特别针对PCIe 3.0/4.0中的Recovery.Equalization状态进行详细说明。通过Synopsy IP案例,展示如何应对高速信号完整性挑战,优化前向反馈均衡(FFE)机制,提升系统性能。

peace的博客 1058

mesos+zk+Marathon实现对docker容器的管理

1、系统环境:CentOS Linux release 7.6.1810 (Core) 五台机器 [root@m5 mesos]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.locald...

lsysafe的博客 2万+

换频道——假想《道德经》与量子力学的一些联系

之前看到一位AI PM的前辈分享了自己对于PM境界的看法: 境界一,行事被放心。 境界二,独立主导产品线从0到1,做正确的事,并把事做正确。 境界三,一切以灵魂境界为基础,产品作为其理念的衍生。 对于我,3个月尝试于目标而无获,但塞翁失马焉知非福。自己已经具备境界一,虽然境界二尚未成熟,但境界三却有幸有所思考。 今天,往澳门的动车途中有感而发,为随笔。

1024

别再傻傻分不清了!STM32定时器里Prescaler和ClockDivision到底有啥区别?

本文深入解析STM32定时器中Prescaler和ClockDivision的区别与应用场景。Prescaler作为定时器的'心跳调节器',决定计数频率;而ClockDivision则是输入捕获的'抗噪滤镜',有效抑制高频噪声。通过实战案例和示波器实测数据,帮助开发者避免常见配置误区,提升嵌入式系统稳定性。

weixin_29193259的博客 321

mesos+marathon+docker

目录 Zookeeper Zookeeper安装配置 Zookeeper安装 Zookeeper配置 zookeeper启动 Mesos Mesos实现原理 Mesos 安装配置 Mesos 安装 Mesos的配置 Mesos启动 Mesos验证 Marathon Marathon_lb 集群结构 Marathon安装配置 Marathon安装 Marathon...

Z.Virgil的博客 3571

ADRV9026初始化避坑指南:手把手调试PostMcsInit常见故障

本文详细解析了ADRV9026多片同步初始化过程中的PostMcsInit常见故障,包括时钟校准失败、JESD链路建立问题和ARM核通信异常等。通过实际项目经验,提供了硬件检查清单、软件配置要点和分层诊断方法,帮助工程师快速定位和解决问题,提升系统稳定性。

hadoop5ranger的博客 625

基于Mesos+Marathon+Zookeeper的Docker容器管理平台

刚接触docker的时候,发现docker很像一个虚拟机,随着使用的增多,它给我们开发工作带来了极大的方便,因此就想自己搭建一个docker集群环境,以便更深入了解docker集群的工作原理。 之前曾经尝试分别安装mesos,marathon和zookeeper,组成分布式系统,但是在安装、配置过程中遇到了各种各样的问题,特别是mesos,问题比较多。既然docker容器的使用十分方便,所以我就使

tianpy5的博客 5050

基于rms包的限制性立方样条回归(RCS)R代码实现

RCS

2301_79584199的博客 2万+

GDI文字绘制和windows下opengl文字绘制小结

GDI绘制文字,要设置文字的属性,主要就是通过设置DC中的font对象来实现的。 font对象的创建可以由createfont()、createfontIndirect()来实现。 HFONT CreateFont( int nHeight, // height of font int nWidth, // average

T_W_S的专栏 5324

mesos+marathon环境简单搭建

博客原文 安利一篇我翻译的国外大牛的神经网络入门文章 环境准备 centos6 $ uname -a Linux liujinliu.centos 2.6.32-504.el6.x86_64 #1 SMP Wed Oct 15 04:27:16 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux 机器ip地址为192.168.211.131 安装jdk

Gary,Done的专栏 3331

AIGC大模型应用教学平台

该平台采用最新的AI推理加速芯片,提供30Tops算力和32GB存储,能够运行常见的大语言模型如ChatGLM2、Llama2、Baicuan、Mistral等,也可以运行文生图扩散模型Stable Diffusion,提供大模型微调、量化、转换和加速推理服务。在此基础上,平台还提供常见的生成式AI应用,包括AIGC知识抽取增强(RAG)、AIGC绘画、AIGC会话聊天、数字虚拟人等应用,以便学生能够掌握最新的生成式AI模型微调、提示工程和智能体应用技能。

中智讯的博客 1209

docker容器技术篇:集群管理实战mesos+zookeeper+marathon(三)

Marathon按照官方的说法是基于Mesos的私有PaaS,它实现了Mesos的Framework。Marathon实现了服务发现和负载平衡、为部署提供REST API服务、授权和SSL、配置约束等功能。Marathon支持通过Shell命令和Docker部署应用。提供Web界面、支持cpu/mem、实例数等参数设置,支持单应用的Scale,但不支持复杂的集群定义。

qq_39241682的博客 1548

FFmpeg入门详解之110:RTSP协议讲解

TCP/IP 协议体系中的一个应用层协议,该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上,它使用TCP或UDP完成数据传输。HTTP与RTSP相比,HTTP传送HTML,而RTSP传送的是多媒体数据。正在上传…重新上传取消RTSP是基于文本的协议,采用ISO10646字符集,使用UTF-8编码方案。行以CRLF中断(\r\n:10,13:0x0A,0x0D),包括消息类型、消息头、消息体和消息长。

福优学苑@音视频+流媒体 2530

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

基于Docker搭建单机版Mesos/Marathon

摘要: 本文介绍了基于Docker搭建单机版Mesos/Marathon的方法,Mesos/Marathon的所有组件均运行于单个容器中。 GitHub地址: kiwenlau/single-mesos-docker 一. 简介 Mesos是集群资源管理系统,Marathon是运行在Mesos之上的集群计算架构。将Mesos和Marathon打包到Docker镜像中,开发者便可以在本机上快速搭建M...

JL-LOVE 642

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

使用docker部署Mesos+Zookeeper+Marathon

请不要在使用 garland/mesosphere-docker-mesos-master、garland/mesosphere-docker-marathon这些镜像了,他们已经三年没有维护了,应该用新的:mesosphere/mesos(mesosphere/mesos-master 和 mesosphere/mesos-slave)、mesosphere/marathon GITHUB(ht...

YardStrong的博客 835

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

marathon+mesos+docker部署

1.部署规划 master-node1 192.168.30.24 CentOS 7.2.1511 zookeeper, mesos-master, marathon master-node2 192.168.30.28 CentOS 7.2.1511 zookeeper, mesos-master, marathon mast

2020xyz的博客 768

基于docker搭建mesos+zookeeper+marathon环境

mesos+zookeeper+marathon 1、Mesos有一部分需要Systemd来操作,但是Mesos只支持包含Delegata标志的systemd版本。 这个标志在systemd 218版本初次被引入,它低于centos下默认安装的版本。 幸运的是,centos7.1有一个补丁systemd<218包含Delegate标志,下面操作升级systemd sudo yum update 2、安装基础工具 sudo yum install -y tar wget 3、下载 Apac

flybone7的博客 497

docker+mesos+marathon

前言针对“互联网+”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展,又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合?本人将以实验的角度来部署mesos + marathon的docker集群一、熟知mesosMesos是Apache下...

diaotuhui6321的博客 188
上一篇: docker container DNS配置介绍和源码分析
下一篇: 使用 Docker, 7 个命令部署一个 Mesos 集群
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值