
分布式任务处理
大鹏的世界
天道酬勤!分布式+大数据架构解决方案
展开
-
用Gearman进行分布式任务处理
Gearman是一款开源的通用的分布式任务分发框架,自己本身不做任何实际的工作。它可以将一个个的任务分发给其他的物理机器或者进程,以达到工作的并行运行和LB。有人说Gearman是分布式 计算框架其实是不太准确的,因为相较于Hadoop而言,Gearman更偏重于任务的分发而不是执行。Gearman扮演的角色更像是一系列分布式进程 的神经系统。Gearman概述看到Gearman的转载 2013-04-19 11:09:28 · 2189 阅读 · 0 评论 -
用 Gearman 分发 PHP 应用程序的工作负载
尽管一个 Web 应用程序的大部分内容都与表示有关,但它的价值与竞争优势却可能体现在若干专有服务或算法方面。如果这类处理过于复杂或拖沓,最好是进行异步执行,以免 Web 服务器对传入的请求没有响应。实际上,将一个计算密集型的或专门化的功能放在一个或多个独立的专用服务器上运行,效果会更好。常用的缩略词API:应用程序编程接口HTTP:超文本传输协议LAMP:Linux、Apach转载 2013-04-19 11:09:57 · 961 阅读 · 0 评论 -
mongodb分布式集群架构
http://freeze.blog.51cto.com/1846439/884925转载 2013-04-26 22:11:29 · 781 阅读 · 0 评论 -
Amoeba for MySQL学习研究之注意事项
Amoba配置方便,使用简单,性能表现也不错,但它也不是完美无缺的,在实际使用中有很多需要注意的事项。Amoeba不支持事务目前Amoeba不支持事务,任何有关事务的SQL语句都会被Amoeba屏蔽掉。如果必须使用事务,而且事务内的处理操作都可以路由到同一台MySQL上的话,可以考虑在存储过程中使用事务进行处理。另外,Amoeba将来有望支持事务。Amoeba不支持跨库join和排序转载 2013-05-13 10:45:19 · 982 阅读 · 0 评论 -
PHP利用Gearman来处理并行多进程问题
最近工作中开发的一套系统,其中很多都是需要操作多服务器的,比如需要同时发布数据到2000个服务器上,或者同时向2000个服务器拉取数据。刚开始的解决方案就是单纯用PHP的curl_multi的方式并发处理请求,而且参考了淘宝技术博客的《Rolling cURL: PHP并发最佳实践》,但是由于网络和数据以及各个服务器等等的一些情况导致这种并发处理的响应时间很慢,因为在并发请求的过程中还包括记录转载 2014-09-30 11:23:03 · 2966 阅读 · 0 评论