一条宝鱼的专栏

之前整理过一篇文章《zookeeper 分布式锁服务》，本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.首先需要安装JdK，从Oracle的

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]我想说，真tm #%￥%￥#%，2.0和3.0架构变化挺大的，nameserver有必要吗？zookeeper不是挺好的吗？一 nameserver相对来说，nameserver的稳定性非常高。原因有二：1. nameserver互相独立，彼此没有通信关系，单台n

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]1 概述1.1 编写目的测试RocketMQ的写数据、读数据性能及稳定性1.2 适用范围对RocketMQ感兴趣的读者。1.3 术语表nameserver：专为RocketMQ设计的轻量级名称服务。producer：消息

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]在分布式系统中，同时满足“一致性”、“可用性”和“分区容错性”三者是不可能的。分布式系统的事务一致性是一个技术难题，各种解决方案孰优孰劣？在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的企业开发，系统往往是以单

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]RocketMQ 支持定时消息，但是不支持任意时间精度，仅支持特定的 level，例如定时 5s， 10s， 1m 等。其中，level=0 级表示不延时，level=1 表示 1 级延时，level=2 表示 2 级延时，以此类推。如果要支持任意的时间精度，在Broke

http://blog.youkuaiyun.com/lovesomnus/article/details/53190322

版权声明：本文为博主原创文章，未经博主允许不得转载。几种MQ产品说明：ZeroMQ : 扩展性好，开发比较灵活，采用C语言实现，实际上他只是一个socket库的重新封装，如果我们做为消息队列使用，需要开发大量的代码RabbitMQ: 结合erlang语言本身的并发优势，性能较好，但是不利于做二次开发和维护ActiveMQ: 历史悠久的开源项目，已经在

一 机器部署1、机器组成7台机器，均为16G内存每台服务器均有4个CPU，2核 2、运行环境配置3、刷盘方式每台机器master机器均采用异步刷盘方式     二 性能评测1、评测目的   测试consumer端的广播模式消费。  2、评测指标    所属不同consumerGroup组的consumer端，在

一 机器部署1、机器组成7台机器，均为16G内存每台服务器均有4个CPU，2核 2、运行环境配置3、刷盘方式每台机器master机器均采用异步刷盘方式       二 性能评测1、评测目的   测试consumer端的集群模式消费。  2、评测指标    （1）topic关联的readQueueNums读队

[python] view plain copy print?"font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">   "font-family: Arial, Helvetica, sans-serif; background-color: rgb(2

原创文章，转载请注明出处：http://jameswxx.iteye.com/blog/2091966 我想说，真tm蛋疼，2.0和3.0架构变化挺大的，nameserver有必要吗？zookeeper不是挺好的吗？  一 nameserver相对来说，nameserver的稳定性非常高。原因有二：1 nameserver互相独立，彼此没有通信关系，单台

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]备注： 1.如果您此前未接触过RocketMQ，请先阅读附录部分，以便了解RocketMQ的整体架构和相关术语 2.文中的MQServer与Broker表示同一概念分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]RocketMQ网络部署图RocketMQ 网络部署特点Name Server 是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。Broker 部署相对复杂，Broker 分为Master 与Slave，一个Master 可以对应多个S

[转载请注明作者和原文链接,  如有谬误, 欢迎在评论中指正. ] Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.单机模式点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:Bash代码  tickTim

转：http://blog.youkuaiyun.com/u011270461/article/details/12144623建议参考资料：http://blog.youkuaiyun.com/lin_fs/article/details/7395307http://blog.youkuaiyun.com/goliathray/article/details/8565801http://zy

先给出阿里巴巴dubbo的主页：http://code.alibabatech.com/wiki/display/dubbo/Home-zh自己的demo下载地址：http://download.youkuaiyun.com/detail/u012049463/67633151. Dubbo是什么？Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务

1.zookeeperhttp://zookeeper.apache.org/ 官网下载，然后安装启动时，需要将 zoo_sample.cfg 改成 zoo.cfg[java] view plaincopy# The number of milliseconds of each tick  tickTime=2000  

1.概述RocketMQ是什么？ RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点： 能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 RocketMQ是alibaba开源的java消息中间件。在github上开源，项目同时也在oschina上。2.开发测试环境

RocketMQ单机支持1万以上的持久化队列，前提是足够的内存、硬盘空间，过期数据数据删除（RocketMQ中的消息队列长度不是无限的，只是足够大的内存+数据定时删除）RocketMQ版本：3.1.4 一，部署NameServer：1，安装JDK并设置JAVA_HOME环境变量（启动脚本依赖JAVA_HOME环境变量）2，cd /alibaba-rocket

RocketMQ 的设计思想来自于Kafka,在具体设计时体现了自己的选择和需求，具体差别可以看RocketMQ与Kafka对比（18项差异）。接下来记录下自己阅读源码的一些探索。RocketMQ的整体架构如下，可以看到各个组件充当的角色，Name Server 负责维护一些全局的路由信息：当前有哪些broker，每个Topic在哪个broker上等; Broker具体处理消息的存

1.1. 控制台使用RocketMQ 提供有控制台及一系列控制台命令，用于管理员对主题，集群，broker 等信息的管理；登录控制台首先进入RocketMQ 工程，进入/RocketMQ/bin在该目录下有个mqadmin 脚本查看帮助在mqadmin 下可以查看有哪些命令sh mqadmin查看具体命令的使用sh mqadmin help 命令名称例如，查

本文着重介绍sharding的基本思想和理论上的切分策略，关于更加细致的实施策略和参考事例请参考我的另一篇博文：数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 一、基本思想      Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。不太严格的讲，对于海量数据的数据库，如果

（一）　　简单理解四层和七层负载均衡:　　① 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真实的IP地址；四层通过虚拟IP+端口接收请求，然后再

ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景

1.RocketMqRocketMQ的前身是Metaq，当Metaq3.0发布时，产品名称改为RocketMQ,有以下特点： 1. 能够保证严格的消息顺序2. 提供丰富的消息拉取模式3. 高效的订阅者水平扩展能力4. 实时的消息订阅机制5. 亿级消息堆积能力2.核心原理2.1. 数据结构（1）所有数据单独储

1. 停止rocketmq可以使用kill -9 命令强制停止rocketmq进程2. 删除rocketmq日志rm -rf /root/logs/rocketmqlogs/*3. 删除rocketmq中topic等信息rm -rf /root/store/*4. [可选] 手工清空MQ里剩余的topic，示例命令如下：cd alibaba-rocketmq/bin...