mn_kw的博客

JMS:java message service   java 的消息服务 传递消息：如果是进程内部直接对象间传参就行                  进程间就涉及到串行化了（ipc 进程间通信  rpc:远程过程调用） Kafka  高吞吐量的分布式文件系统 如果a:有消息发给b 需要socket套接字  直接发送就可以，但这样耦合度很高，必须保持消息的发送者和消息的接受者必须在线 现在的解决...

一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可...

一、 前期准备工作step1：安装JDK1.8step2：安装zookeeper单机版step3： 安装Gradle-4.10.2step4：安装scala-2.11.12二、 将kafka源代码部署到编辑器IDEA并测试step1：将kafka源码部署到IDEAstep2： 对Kafka源码编译执行三、 将修改过的Kafka源代码发布成binary 版本ste...

C:Consistency,一致性1.  通过某个节点的写操作结果对后面通过其他节点的读操作可见2. 如果更新数据后，并发访问情况下可立即感知该更新，成为强一致性3. 如果允许之后部分或者全部感知不到该更新，称为弱一致性4. 若在之后的一段时间（时间不固定）后，一定可以感知该更新，称为最终一致性A:Availability 可用性1. 任何一个没有发生故障的节点必须在有限的...

高吞吐率：在廉价的商用机器上单机可支持每秒100万消息的读写消息持久化 所有的消息均被持久化到磁盘，无消息丢失，支持消息重放完全分布式 Producer, Broker,Consumer均支持水平扩展同时满足适应在线流处理和离线批处理 kafka中自带zookeeper kafka partition中具体存储信息的块叫segment(块/节) 我们的消息具体在...

1. 配置管理2. Leader Election3. 服务发现

ZAB 广播模式Leader将所有的更新(写操作)（proposal(建议，提议)）,顺序发送给Follower当Leader收到板书以上Folloer对此proposal的ACK,即向所有的Follower发送commit消息，并在本地commit该消息Follower收到Proposal后即将该Proposal写入磁盘，写入成功即返回ACK给leader每个Proposal都有...

kafka算是很麻烦的一件事儿，起因是最近需要采集大量的数据，原先是只用了典型的high-level Consumer的API，最经典的不过如下：Properties props = new Properties();props.put("zookeeper.connect", "xxxx:2181");props.put("zookeeper.connectiontimeout.ms", "...

我们在使用kafka处理数据的过程中会使用kafka跟一下数据库进行交互，Hbase就是其中的一种。下面给大家介绍一下kafka中的数据是如何导入Hbase的。 本文的思路是通过consumers把数据消费到Hbase中。 首先在Hbase中创建表，创建表可以在Hbase客户端创建也可以通过API创建，这里介绍通过API创建表的方法： 创建CreatTableTest类[java] view pl...

jmx端口主要用来监控kafka集群的。在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999"if [ "x$KAFKA_HEAP_OPTS" = "x" ];then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"export JMX_PORT="9999"fi...