搭建 Marathon+Mesos+Docker 架构

最新推荐文章于 2024-04-26 14:12:14 发布
最新推荐文章于 2024-04-26 14:12:14 发布
阅读量169 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：http://blog.51cto.com/13640803/2161043
本文介绍如何搭建Mesos集群并配置Marathon服务。包括Mesos的安装配置、Zookeeper集群设置、Mesos Master与Slave节点启动及Marathon服务部署等关键步骤。

Mesos

Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。（分布式系统管理调度和资源分配机制）

Mesos 缺点 ：

需要独立部署mesos-slave 进程；依赖 framework 的功能；成本比较高；

Mesos 优点 ：

可以管理 docker 容器；稳定性具有保障；

Mesos 结构大概图

搭建 Marathon+Mesos+Docker 架构

组成 ：

  • framework：计算机框架

  • executor：执行器task任务

  • mesos-master：管理slave 调度分配资源

  • mesos-slave：执行task

本案环境

主机名系统IP地址软件包
masterCentOS 7.4192.168.100.136jdk、mesos、zookeeper、marathon
master1CentOS 7.4192.168.100.129jdk、mesos、zookeeper
master2CentOS 7.4192.168.100.138jdk、mesos、zookeeper
slaveCentOS 7.4192.168.100.139jdk、mesos、docker
slave1CentOS 7.4192.168.100.140jdk、mesos、docker

安装 Mesos （所有主机搭建）

1.配置 java 环境 ：

systemctl stop firewalld.service
setenforce 0

uname -r    #查看内核版本（需要内核3.10以上）
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/   
cd /usr/local/
mv jdk1.8.0_91/ java   #重命名
vim /etc/profile    

export JAVA_HOME=/usr/local/java   
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

source /etc/profile   #刷新

2.安装环境 ：

yum groupinstall -y "Development Tools"   #安装开发工具
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
#添加apache-maven源
yum install -y apache-maven python-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel apr-util-devel subversion-devel
#安装依赖包 
vim /etc/yum.repos.d/wandisco-svn.repo   #配置WANdiscoSVN网络源

[WANdiscoSVN]
name=WANdisco SVN Repo 1.9
enabled=1
baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/
gpgcheck=1
gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco

3.配置Mesos环境变量 ：

vim /etc/profile

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so

source /etc/profile

3.安装 mesos ：

wget http://archive.apache.org/dist/mesos/0.25.0/mesos-0.25.0.tar.gz  #下载mesos包
tar zxvf mesos-0.25.0.tar.gz -C /opt/
mv mesos-0.25.0/ /root/
cd /root/mesos-0.25.0
mkdir build

cd build

../configure

make               #等待时间长
make check         #检查
make install

配置 Mesos-master

1.修改主机名 ：

hostnamectl set-hostname master   #所有master依次修改
bash   #立即生效

2.配置解析（所有主机添加） ：

vim /etc/hosts
192.168.100.136 master
192.168.100.129 master1
192.168.100.138 master2
192.168.100.139 slave
192.168.100.140 slave1

3.启动 mesos ：

ln -sf /root/mesos-0.25.0/build/bin/mesos-master.sh /usr/sbin/mesos-master

mesos-master  #启动

4.配置 master-zookeeper ：

tar zxvf zookeeper-3.4.10.tar.gz -C /home/

cd /home/zookeeper-3.4.10/

mv conf/zoo_sample.cfg conf/zoo.cfg   #配置文件模板重命名，不能同时存在

5.编辑 zookeeper 配置文件 ：

vim /home/zookeeper-3.4.10/conf/zoo.cfg

dataDir=/home/zookeeper-3.4.10/data         #重新定义 datadir 位置
dataLogDir=/home/zookeeper-3.4.10/datalog   #data、datalog 不存在创建
server.1=192.168.100.136:2888:3888          #三台master服务器地址
server.2=192.168.100.129:2888:3888
server.3=192.168.100.138:2888:3888
格式 ：server.A=B:C:D
A：表示第几号服务器
B：服务器IP地址
C: 群集中 leader 服务器交换信息端口
D：在 leader 选举时所用的端口
scp /home/zookeeper-3.4.10/conf/zoo.cfg 192.168.100.138:/home/zookeeper-3.4.10/conf/
#把配置文件服务复制过去，前提所有master配置文件已修改
scp /home/zookeeper-3.4.10/conf/zoo.cfg 192.168.100.139:/home/zookeeper-3.4.10/conf/
[root@master ~]# cd /home/zookeeper-3.4.10/
[root@master zookeeper-3.4.10]# mkdir data
[root@master zookeeper-3.4.10]# mkdir datalog
[root@master zookeeper-3.4.10]# echo 1 > data/myid   #添加相对应的第几号服务器  依次添加 要和配置文件相对应
[root@master zookeeper-3.4.10]# cat data/myid 
1

6.启动服务 ：

[root@master zookeeper-3.4.10]# ./bin/zkServer.sh start conf/zoo.cfg   #开启服务
ZooKeeper JMX enabled by default
Using config: conf/zoo.cfg
Starting zookeeper ... STARTED

7.查看状态 ：

[root@master zookeeper-3.4.10]#  ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/q/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower  #负责接收客户请求，向客户端返回结果，并在选举过程中参与投票

[root@master1 zookeeper-3.4.10]#  ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/q/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower

[root@master2 zookeeper-3.4.10]#  ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/q/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader   #负责投票发起和决议、更新系统状态。

8.分别开启 mesos-master （和mesos-slave 一起启动） ：

[root@master zookeeper-3.4.10]#mesos-master --work_dir=/home/q/mesos/data \
--log_dir=/home/q/mesos/logs --no-hostname_lookup \
--ip=0.0.0.0 --zk=zk://192.168.100.136:2181/mesos --quorum=2
#--quorum=2  还剩余2台服务器

[root@master1 zookeeper-3.4.10]#mesos-master --work_dir=/home/q/mesos/data \
--log_dir=/home/q/mesos/logs --no-hostname_lookup \
--ip=0.0.0.0 --zk=zk://192.168.100.129:2181/mesos --quorum=2  

[root@master2 zookeeper-3.4.10]#mesos-master --work_dir=/home/q/mesos/data \
--log_dir=/home/q/mesos/logs --no-hostname_lookup \
--ip=0.0.0.0 --zk=zk://192.168.100.138:2181/mesos --quorum=2

配置 Mesos-slave

1.修改主机名 ：

hostnamectl set-hostname slave   #所有 slave 依次修改
bash   #立即生效

2.配置解析（所有主机添加） ：

vim /etc/hosts
192.168.100.136 master
192.168.100.129 master1
192.168.100.138 master2
192.168.100.139 slave
192.168.100.140 slave1

3.建立软连接 ：

ln -sf /opt/mesos-0.25.0/build/bin/mesos-slave.sh /usr/sbin/mesos-slave

4.安装 docker ：

yum install docker -y
systemctl start docker.service
systemctl enable docker.service

5.启动 mesos-slave ：

mesos-slave --containerizers="mesos,docker" \
--work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs \
--master=zk://192.168.100.136:2181,192.168.100.129:2181,192.168.100.138:2181/mesos \
--no-hostname_lookup --ip=0.0.0.0

测试访问 mesos-master

随意访问一台 master ，若指定非 leader 状态的 mesos-master 地址，页面会自动跳转 leader 状态下的地址 ：

搭建 Marathon+Mesos+Docker 架构
搭建 Marathon+Mesos+Docker 架构

部署 Marathon

1.安装服务(只需要在一台 master 部署) ：

http://downloads.mesosphere.com/marathon/v0.15.2/marathon-0.15.2.tgz

tar zxvf marathon-0.15.2.tgz -C /home/

2.将 Marathon 安装到多 mesos-master 环境的 master 主机上 ：

cd /home/marathon-0.15.2
[root@master marathon-0.15.2]#./bin/start --hostname 192.168.100.136 --master zk://192.168.100.136:2181,192.168.100.129:2181,192.168.100.138:2181/mesos --http_address 0.0.0.0

测试访问 marathon

搭建 Marathon+Mesos+Docker 架构

转载于:https://blog.51cto.com/13640803/2161043

Marathon+Mesos+Docker部署记录
johnhill_的博客
03-12 706
网上有很多关于本主题的部署文档，有几篇已经将原理也说明的非常清楚。但是自己部署发现还是与别人说的有不同之处。因此记录下：本文档以阿里云经典网络ECS部署为例规划（2master+4slave)master：106.14.196.38172.19.6.57 ---784613---master1106.14.4.78172.19.6.58 ---553040---master2配置master节点（...
mesos+marathon平台搭建
AwesomeWang7的博客
08-22 690
网页下配置marathon
Mesos+Zookeeper+Marathon的Docker管理平台部署记录（个人珍藏版）
08-30
本篇文章详细记录了Mesos+Zookeeper+Marathon的Docker管理平台部署过程，可作为线上实操手册，文档可用性已经过验证！有需要的朋友，请拿走。
在 RHEL 7.1 上设置 Mesos/Marathon 集群
Jack__CJ的博客
11-01 559
导读 Mesos 是一套分布式集群管理器，旨在通过以动态方式于不同任务之间共享资源的方式改进资源使用率；Marathon 是一套用于在 Mesos 之上运行长期运行应用程序或者服务的框架； SOA是面向服务架构，最近颇为流行的微服务架构鼓励大家利用多项松散耦合的服务构建应用程序。今天的环境上面显示在 RHEL 7.1 上设置 Mesos/Marathon 集群。 Mesos 与
Marathon+Mesos+Docker部署
weixin_34128534的博客
08-18 675
Marathon 马拉松是一个生产级的容器编排平台，用于中间层的数据中心操作系统(DC/OS)和Apache Mesos.为部署提供提供REST API服务，有授权和SSL、配置约束，通过HAProxy实现服务发现和负载平衡。 Apache Mesos Apache Mesos 是一款基于多资源（内存、CPU、磁盘、端口等）调度的开源群集管理套件，能时容错和分布式关系系统更加容易使用。Apach...
第六章：项目：Marathon+Mesos+Zookeeper+Docker实战1
08-08
在本文中，我们将深入探讨“第六章：项目：Marathon+Mesos+Zookeeper+Docker实战1”的核心知识点，主要关注Apache Mesos、Zookeeper以及它们在分布式系统中的作用。 首先，Apache Mesos是一个强大的集群管理系统，...
docker 集群管理实战mesos+zookeeper+marathon（三）
最新发布
2301_78677624的博客
04-26 944
https://www.toutiao.com/article/7221354604351537698/?log_from=6b55db495da1d_1681366356776这个教程主要演示部署和使用marathon./start --hostname 192.168.23.101 --master zk://192.168.23.101:2181,192.168.23.102:2181,192.168.23.103:2181/mesos --http_address 0.0.0.0点击Framewor
MesosClusterSpyke:用于创建 Mesos + Marathon + Chronos + Docker 集群的 Vagrantfiles
05-29
Vagrantfile 和一些用于创建 Mesos + Marathon + Chronos + Docker 集群的 shell 脚本 如果只是尝试 Mesos 集群，那会很痛苦。 这组文件可以让你轻松生成 Mesos 的集群环境。 如果你愿意，你可以参考。 入门 1. ...
docker集群管理实战mesos+zookeeper+marathon（二）
2301_78677624的博客
04-26 1888
ZooKeeper是用来给集群服务维护配置信息，提供分布式同步和提供组服务。所有这些类型的服务都使用某种形式的分布式应用程序，本实验中使用zk与mesos结合实现为mesos的master提供配置维护、分布式同步、组服务等，并保证其单点故障问题。Zk是Hadoop和Hbase的重要组件哦。
Marathon+Mesos+Docker实战
weixin_33797791的博客
08-21 305
Marathon+Mesos+Docker实战 Apache Mesos概述 Apache Mesos是一款基于多资源调度的开源集群管理套件，使容错和分布式系统更加容易使用实现，采用Master/Slave结构简化设计，将Master尽可能轻量级，进保存了Mesos Slave的状态信息 常见集群管理工具 工具 特点 优势 Apache Mesos 需要独立部署mesos-sl...
marathon+mesos+docker部署
2020xyz的博客
06-29 701
1.部署规划 master-node1 192.168.30.24 CentOS 7.2.1511 zookeeper, mesos-master, marathon master-node2 192.168.30.28 CentOS 7.2.1511 zookeeper, mesos-master, marathon mast
zookeeper+marathon+mesos
真理部
02-22 275
https://blog.youkuaiyun.com/xiaoyutongxue6/article/details/86080202 https://www.hi-linux.com/posts/8141.html#安装mesos和marathon
Mesos和Marathon简介和浅析
热门推荐
polo2044的专栏
11-28 1万+
一、Mesos和Marathon是什么 1.1 Mesos是什么 Mesos是什么呢，可以用这样一个例子进行说明。假定某公司需要频繁进行大数据计算，该任务运行时需要N多个CPU和内存，为了满足这个需求，有两种方案： 1.使用小型服务器，为任务提供足够的资源。 2.采用分布计算，即提供一批普通配置的机器，组成集群，将计算任务拆分到各个机器上计算，然后汇总结果。 Mesos就是实现这类分布式计算的框架...
使用Mesos和Marathon管理Docker集群
weixin_34194317的博客
08-11 235
2019独角兽企业重金招聘Python工程师标准>>> ...
Mesos+Marathon搭建部署
snipercai的博客
02-06 9403
实验环境 主机名 IP地址 运行服务 安装组件 mesos1 172.16.138.201 zookeeper mesos-master marathon mesos marathon mesosphere-zookeeper mesos2 172.16.138.
Mesos+ZooKeeper+Marathon+Docker
zongyimin的博客
05-04 1084
2：配置master节点     （1）关闭防火墙
第 22 篇 : Mesos+Marathon单节点
qiezi__的博客
07-06 289
目前还是缺少3个python的软件, 查阅了很多资料,devel,six,virtualenv都是与python版本对应, 官方命令好随意。因为epl-8是拼接出来的, 系统如果是centos7就不会有问题, 修改 ‘epel-apache-maven.repo’, 使用 make -j 核数, 来增加编译速度, 例如。可以看到, 是根据当前系统拼接出来的, 那就把2个baseurl修改成7的。如果网络很慢, 建议下载好, 再上传到机器上,至此, 基础的mesos虚拟机已准备完毕, 关机。
保姆级丨Mesos & Marathon部署
尼泊罗河伯的博客
08-19 2121
Mesos是以与Linux内核同样的原则而创建的，不同点仅仅是在于抽象的层面。Mesos内核运行在每一个机器上，同时通过 API 为各种应用提供跨数据中心和云的资源管理调度能力。这些应用包括Hadoop、Spark、Kafka、Elastic Search。还可配合框架 Marathon 来管理大规模的Docker等容器化应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值