darkness0604的博客

分布式模型下的客户端应用运行的关键？分布式下，通常有多个角色进行互相协调。因此作为一个分布式角色来说，首先要解决的就是如何和其他分布式角色进行通信。对于客户端而言，首先需要明确集群的信息，以及如何进行连接，因此也涉及到具体使用到的IO模型是什么？如下是kafka producer发送一条消息需要进行的操作：1、拉取集群元数据2、底层利用NIO建立sokcet连接进行向指定节点进行发送信息。分布式模型下的服务端应用运行的关键？作为服务端来说，更关心的是如何更好的接收和管理众多的连接，以及对连接

Producer配置分析Properties conf = new Properties();//设置ACK级别： 0,1，-1conf.setProperty(ProducerConfig.ACKS_CONFIG,"0");//Key序列化器conf.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());//Value序列化器conf.setProperty(P

KAFKA中的索引与数据文件的分析创建topic来到KAFKA存储目录，发现已经有了两个分区的数据：进到0号分区的文件夹：发现有.log结尾的数据文件，.index结尾的偏移量索引文件，.timeindex结尾的时间戳二级索引文件但我们发现，我们现在还没有写入消息，但两个索引文件就已经有了10M的大小，这是为何？这是因为kafka对索引文件使用的是mmap映射，已经预分配好了10M的磁盘块大小的空间，通过lsof查看kafka进程号观察这个细节：可以看到SIZE/OFF的位置上，确实已

KAFKA的元数据与zookeeperkafka的元数据是交给zookeeper来管理的。假设我们有topic ：ooxx， 副本数为2，主副本在id为3的broker上，另一个副本在id为1的上面。 此时，只有主副本有读写能力，从副本只能备着。前面我们说过，kafka集群会选出一个broker作为controller，这个选举是借助zookeeper来完成的，zookeeper本质是通过让它们抢占一个临时节点，谁抢到谁就是controller。如图下：通过zookeeper的kafka路径中

Producerproducer是面向broker的，然后向指定的toopic进行发送数据，相同key去到同一分区。初始化配置String topic = "msb-items";Properties p = new Properties();p.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "node02:9092,node03:9092,node01:9092");//kafka 持久化数据的MQ 数据-> byte[]，

1、准备zookeeper环境2、搭建KAFKA环境编辑server.properties，注意填写zk地址的时候，比较好的做法是在zookeeper地址后加上一个路径：zookeeper.connect=node02:2181, node02:2181, node03:2181/kafka以及要保证每个broker.id保证不同。3、启动kafka/opt/bigdata/kafka_2.11-2.2.0/bin//kafka-server-start.sh -daemon /opt/

消息队列的缘由kafka是一种消息队列。在说kafka之前，我们先来聊一下消息队列的出现缘由。两个服务之间想要进行数据通信，如果直接点对点传输，会在数据的可靠性、一致性等方面让人头疼，因此为了解耦，人们的常用做法是在中间加一层东西进行服务之间解耦，而这个东西，就是消息队列。分布式消息队列与KAFKA的诞生但作为一个单机版的消息队列应用，势必存在单点问题和性能问题，因此必然需要发展成为一个分布式应用。按照分布式的老三样AKF原则，在X轴（可靠性横向副本扩展），Y轴（业务切分），Z轴（数据分区）上