yukai08008的博客

在基于Docker的运行基础和微服务的架构之后，自然会走向分布式的存储和计算方式。分布式的好处很明显，但是也更加复杂了。我想对于多功能的开发，以及多任务的运行管理会自然的被设计者着重考虑。...

说明

说明 TaskSys要完成各种计算任务，其中既有普通计算任务，也有长周期任务，还有海量计算任务；，其实现依靠可靠的、不定运行的、动态加载的长链逻辑控制，这也是提高逻辑的集成性的一部分。 内容 从实操上，要完成TaskSys的功能，需要一些组件支持，否则最后就会变得繁琐和混乱。 1 FuncDict 函数字典 这个组件实现了函数的参数化调用和动态加载，这可以： 1 避免在程序中出现大段的代码 2 减少了管理程序文件的麻烦 3 减少了因为修改函数而引起的服务重启 2 FlipFlop 触发器 过去的函数动作

说明 FuncDict是个挺有趣的想法，把函数以扁平化的方式管理，需要的时候以键值获取。有利于实现更大规模、更少bug的代码，而且省了很多copy paste和管理文件夹的事。 更有意思的是，它既和TaskSys有关，也和GraphSys有关。以下简单梳理一下。 内容 1 和TaskSys有关 TaskSys中，最终的封装任务函数是很长的「一条」代码，中间出了问题会比较麻烦。通过FuncDict,我们可以把这一长条(Sequential)的代码真正拆分成一片一片的。特别是类似FlipFlop这样的触发器函数

说明 使用任务系统完成数据的实体抽取过程记录。 内容 1 需求 1 从A表（mysql)中获取原始数据 2 从原始数据中解析出实体 3 将解析结果存入B表（mysql) 其他： A表中的数据会增长(create),但不会更新。 A表中的id是递增的 2 服务搭建 1 与mysql交互的程序（读取和写入） 2 实体解析服务 3 周期性执行 依赖mongo数据库暂存元数据（目前读取到的条数） 4 处理过程 1 获取数据 2 发布任务 3 提取任务结果，写入目标库表 worker的不间