
分布式
文章平均质量分 68
cuidongdong1234
这个作者很懒,什么都没留下…
展开
-
两阶段提交
XA 就是 X/Open DTP 定义的交易中间件与数据库之间的接口规范(即接口函数),交易中间件用它来通知数据库事务的开始、结束以及提交、回滚等。 XA 接口函数由数据库厂商提供。转载 2014-09-24 19:50:32 · 471 阅读 · 0 评论 -
kafka producer总结
Kafka producer的ack的3种机制:通过初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。0:这意味着生产者producer不等待来自broker同步完成的确认就继续发送下一条(批)消息。 此选项提供最低的延迟但最弱的耐久性保证,因为其没有任何确认机制。1:这意味着producer在le原创 2015-01-24 15:38:52 · 4758 阅读 · 0 评论 -
kafka consumer group总结
kafka消费者api分为high api和low api,目前上述demo是都是使用kafka high api,高级api不用关心维护消费状态信息和负载均衡,不用关心offset。高级api的一些注意事项:1. 如果consumer group中的consumer线程数量比partition多,那么有的线程将永远不会收到消息。因为kafka的设计是在一个partition上是不允许原创 2015-01-22 21:58:41 · 26223 阅读 · 5 评论 -
proto buffer编码详解
工作内容需要尽可能小的应用传输格式。本来以为网上很多的。。。。This document describes the binary wire format for protocol buffer messages. You don't need to understand this to use protocol buffers in your applications, but it翻译 2014-11-25 22:02:54 · 1773 阅读 · 0 评论 -
zookeeper leader选举
http://www.cnblogs.com/lpshou/archive/2013/06/14/3136738.html原创 2014-10-20 21:46:27 · 482 阅读 · 0 评论 -
模拟客户端分布式的一致性hash
参考:http://blog.youkuaiyun.com/haitao111313/article/details/7537799原创 2014-10-20 20:02:00 · 730 阅读 · 0 评论 -
zookeeper创建分布式锁
其实利用zookeeper来完成henduo原创 2014-10-20 21:09:36 · 528 阅读 · 0 评论 -
用自己的话理解理解zookeeper(自认为纠正了网上的一些说法)
1,先看看官方的定义吧:ZooKeeper is a distributed, open-source coordination service for distributed applications. It exposes a simple set of primitives that distributed applications can build upon to implement原创 2014-10-17 21:42:20 · 2387 阅读 · 1 评论 -
hadoop总结总结吧
好早之前开始学习hadoop但是都没有系统的学习过,我一向的思维方式是只要原创 2014-10-30 19:55:20 · 652 阅读 · 0 评论 -
Apache Hadoop NextGen MapReduce (YARN)
原文http://hadoop.apache.org/docs/r2.5.1/hadoop-yarn/hadoop-yarn-site/YARN.htmlMapreduce 在hadoop-0.23经历了一个巨大的变化,也就是mapreduce2.0或者是YARN.YARN的基础思想是把mapreduce1中的JobTracker的两个主要功能resourcemanagem翻译 2014-11-16 22:52:55 · 643 阅读 · 0 评论 -
mapreduce patitioner
mapreduce patitionermapreduce中的patitioner可以对key进行分区,即可以把map的输出结果均匀的输入到reducer中。其中mapreduce实现了4中patitioner。默认的为public class HashPartitioner extends Partitioner { public int getParti原创 2014-11-16 21:37:20 · 1323 阅读 · 0 评论 -
ipc,hadoop RPC,java RMI
无论怎么样都必须要先说IPC,即进程间通信。原创 2014-11-10 21:22:51 · 630 阅读 · 0 评论 -
Observers: 让ZooKeeper更具可伸缩性
看了篇文章,感觉写的很好很qingc转载 2014-10-12 00:10:06 · 621 阅读 · 0 评论 -
zookeeper中的一些概念
翻译自:翻译 2014-10-09 21:58:06 · 775 阅读 · 0 评论 -
Elasticsearch查询分析
一,elasticsearch查询分为query查询和filter查询两种方式。query查询过程:1,比较查询条件;2,然后计算分值,最后返回文档结果。这种查询方式适合于全文检索类的查询。filter查询1,判断是否满足查询条件,如果不满足,会缓存查询过程(记录该文档不满足结果);2,满足的话,就直接缓存结果。这种查询方式适合于精确值匹配方式的查询。原创 2017-02-13 15:50:15 · 1345 阅读 · 0 评论