分布式
关注
分享
扫一扫
indie-XinYe
独立开发，目前个人产品：
http://www.aiyouvideo.com beta版，智能文字生视频，助力视频内容创作者；
http://www.91download.com 各类在线视频网站（YouTube, Facebook, Twitter, TikTok, Instagram, Dailymotion, Reddit, B站,小红书，知乎等）视频下载；
http://www.indie123.com 建设中，独立开发者社区
展开
-
【消息队列MQ】各类MQ比较
目前业界有很多MQ产品，我们作如下对比：RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了一个经纪人(Broker)构架，这意味着消息在发送给客户端时先在中心队列排队。对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很原创 2012-09-11 21:22:24 · 340544 阅读 · 43 评论 -
【redis】命令汇总
忘记哪里搜刮来的了exits key //测试指定key是否存在，返回1表示存在，0不存在del key1 key2 ....keyN //删除给定key,返回删除key的数目，0表示给定key都不存在type key //返回给定key的value类型。返回 none 表示不存在key,string字符类型，list 链表类型原创 2012-09-10 00:35:54 · 1078 阅读 · 1 评论 -
【流式计算】Twitter Storm源代码分析之CoordinatedBolt
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-bolt/ 关于Twitter Storm的新特性：Transactional Topology被问到的最多的问题是:S转载 2012-09-10 23:46:01 · 1270 阅读 · 0 评论 -
【流式计算】Twitter Storm源代码分析之DRPC架构细节
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/765/twitter-storm-code-analysis-drpc-arch/ 概述在前一篇文章中我们介绍了Storm DRPC是怎么利用Storm提供的Tuple, Spout, Bolt, Topo转载 2012-09-10 23:41:02 · 1782 阅读 · 0 评论 -
【流式计算】Twitter Storm: DRPC简介
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/756/twitter-storm-drpc/ 本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC。Storm里面引入DRPC主要是利用s转载 2012-09-10 23:38:51 · 2601 阅读 · 0 评论 -
【流式计算】Twitter Storm: Transactional Topolgoy简介
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 本文翻译自: https://github.com/nathanmarz/storm/wiki/Transactional-转载 2012-09-10 23:37:05 · 2139 阅读 · 0 评论 -
【流式计算】Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/ 我们知道，storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进转载 2012-09-10 23:35:23 · 2366 阅读 · 0 评论 -
【流式计算】Twitter Storm源代码分析之Tuple是如何发送的
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/727/twitter-storm-code-analysis-tuple-send-proc/ 这篇文章里面我们来看一下Storm里面的tuple到底是如何从一个tuple是怎么从一个bolt到另一个bolt上转载 2012-09-10 23:33:11 · 3707 阅读 · 0 评论 -
【流式计算】Twitter Storm源代码分析之Topology的执行过程
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/647/twitter-storm-code-analysis-topology-execution/ 我们通过前面的文章(Twitter Storm源代码分析之ZooKeeper中的目录结构)知道了storm集转载 2012-09-10 23:27:45 · 3056 阅读 · 0 评论 -
【流式计算】Twitter Storm源代码分析之ZooKeeper中的目录结构
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明转自网址: http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/ 我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zooke转载 2012-09-10 23:25:03 · 1058 阅读 · 0 评论 -
【流式计算】Twitter Storm: 搭建storm集群
转自网址: http://xumingming.sinaapp.com/179/twitter-storm-搭建storm集群/ 本文翻译自： https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster。这篇文章介绍搭建storm集群并运行的步骤。如果你使用AWS, 那么你可以看一下storm-depl转载 2012-09-10 22:59:31 · 961 阅读 · 0 评论 -
【hadoop】map reduce任务提交后系统干嘛了
1、 文件上传DFSClient向JobTracker提交任务之前，会将任务运行所需要的文件放入HDFS，从而可被JobTracker和TaskTracker得到：一般有执行文件，配置文件，input数据等当Map-Reduce程序停在JobTracker.submitJob函数中的时候，让我们查看HDFS中有如下的变化：bin/hadoop fs -ls /data/hadoo原创 2012-09-08 20:51:37 · 1176 阅读 · 0 评论 -
【hadoop】map reduce的嵌套调用
一天一个blog压力有点大，今天写个水点的，我的一个hadoop的比较二的应用方式。今天在一个产品线里写了个挺有意思的map reduce应用，就是我在map reduce的节点上再次启动了个map reduce任务。由此，节点间形成一个类似于树状的层次结构。和预期的一样，跑的还挺欢快的。说一下具体应用吧。比如这次，我是在reducer中启动子map reduce，那么你显然要解决子m原创 2012-09-07 00:55:29 · 1579 阅读 · 0 评论 -
【分布式存储理论基础】CAP,BASE,ACID
1. CAP 一致性(Consistency)可用性(Availability)分区容忍性(Partitiontolerance)CAP原理指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。这是Brewer教授于2000年提出的，后人也论证了CAP理论的正确性。 l 一致性（Consistency） ： 对于分布式的存储系统，原创 2012-09-03 10:03:02 · 4847 阅读 · 0 评论 -
Pregel: A System for Large-Scale Graph Processing【转】
Abstract许多实际应用问题中都涉及到大型的图算法。比如网页链接关系和社会关系图等。这些图都有相同的特点：规模超大，常常达到数十亿的顶点和上万亿的边。这么大的规模，给需要在其上进行高效计算的应用提出了巨大的难题。在这篇论文中，我们将提出一种适合处理这类问题的计算模式。将程序用一系列的迭代来描述(Programs are expressed as a sequence of iterat翻译 2012-08-30 00:21:43 · 2070 阅读 · 1 评论 -
【分布式基础】一致性哈希
分布式过程中我们将服务分散到若干的节点上，以此通过集体的力量提升服务的目的。然而，对于一个客户端来说，该由哪个节点服务呢？或者说对某个节点来说他分配到哪些任务呢？1. 强哈希考虑到单服务器不能承载，因此使用了分布式架构，最初的算法为 hash() mod n, hash()通常取用户ID，n为节点数。此方法容易实现且能够满足运营要求。缺点是当单点发生故障时，系统无法自动恢复。同样不原创 2012-09-15 01:25:30 · 6634 阅读 · 1 评论