68任务调度系统(二)
关注
分享
扫一扫
48N6E
这个作者很懒，什么都没留下…
展开
-
2020/04/28 07-kazoo库使用和watcher
之前启动的每个服务都有不同的状态，查看信息看到的是角色，zookeeper是典型的主从结构，任意一个都可以做主，但是主只能有一个，这个主就是leader（数据最新最权威，一切数据以它为准）在3.2之前，所有的服务角色为两种，一种是follower，一种是leader，3。2之后加入新角色observer观察者，paxos算法有一个选举制度，可以认为红色server为议员长，蓝色的server是议...原创 2020-04-29 22:40:06 · 555 阅读 · 0 评论 -
2020/04/27 06-Zookeeper伪分布式安装配置
zookeeper是大数据领域，尤其是hadoop生态圈里举足轻重的一个服务，尤其是hadoop生态圈里，只要是分布式服务，没有这个服务跑不了，是非常核心基础 的服务。zookeeper可以解决分布一致性的问题**这东西是来自google的论文，雅虎做的zookeeper，交给apache，进行孵化，称为了顶级项目 **zookeeper就是动物管理员，管hadoop里的一大堆动物，协调里...原创 2020-04-28 21:08:42 · 465 阅读 · 0 评论 -
2020/04/27 05-result接口实现和WEB端开发实现
之前对整个任务的下发，到master的指派，调度，到agent的执行，执行完结果也拿到了。master下的message中拿到消息，调它的storemaster的message负责暴露接口发过来的执行的结果最后要存储起来结果也就是这个四样在找个store，就完成了对数据的存取所以在storage，需要加个result，这样result就能把数据存进去了领任务的时候，把自己的...原创 2020-04-27 21:49:18 · 732 阅读 · 0 评论 -
2020/04/25 04-任务接受、分派和Agent执行实现
任务是从前端web界面提交来的，是使用http协议，到webserver这边是用的json方式（react，jquery，axios都可以），webserver拿到数据由他转发到内部的，后面才是cs结构任务脚本，纯文本，数据是比较多的，建议使用base64编码，安全在哪些agent跑的agentid...原创 2020-04-27 11:57:01 · 1466 阅读 · 0 评论 -
2020/04/25 03-Master端数据存储设计和实现
注册数据到了master，master需要进行管理，用户通过web页面提交的任务也需要管理起来，有用户就需要数据库，建user表，建权限表，web实现对用户的访问控制，一旦用户验证通过后，用户提交的数据必须通过数据库持久化记录下来，也就是用户几点几分登录了，发了什么任务交给什么机器，都需要保存下来。现在要解决agent发来的reg注册信息如何解决，现在是agent自己看有没有id文件，没有就自...原创 2020-04-25 20:59:26 · 333 阅读 · 0 评论 -
2020/04/24 02-Master基本模块实现和数据设计
之前完成了agent部分的代码，agent进行了消息的简单封装，有心跳和注册也调用了zerorpc库，底层结合了zeromq和messagepack，具有通信的能力和序列化和反序列化，有了这两样就可以远程调用server，agent可以调用远程server，server提供的方法和功能，叫远程过程调用，其实就是远程的方法agent调用master方法，然后将里面的数据进行处理，然后可以返回m...原创 2020-04-25 13:23:42 · 389 阅读 · 0 评论 -
2020/04/23 01-Agent通信模块和zerorpc及断开重连机制
之前完成了executor，在agent上主要是将master派发的任务，执行任务完成相应的工作，最后得到结果，结果无论错误还是成功都需要保留下来，在适当的时候把结果返回给master，所以主要是个主从关系agent其实功能比较少，就是个执行器，把任务完成，结果返回。完成工作要造一个类，完成shell脚本的executor类。接收任务需要一个消息，消息格式要定义，返回结果，结果的消息也要定义，...原创 2020-04-24 15:19:41 · 960 阅读 · 0 评论