
kafka | zookeeper
文章平均质量分 92
记录kafka知识点
戴国进
往后余生,专注人工智能领域!!!
展开
-
查看zookeeper版本
命令 1 echo stat|nc localhost 2181 zookeeper@kafka-zookeeper-0:/$ echo stat|nc localhost 2181Zookeeper version: 3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMTClients:/127.0.0.1:54002[0](queued=0,recv..转载 2020-07-30 21:00:04 · 33308 阅读 · 1 评论 -
面试官:ZooKeeper 是强一致的吗?
Zookeeper通过ZAB保证分布式事务的最终一致性。ZAB全称Zookeeper Atomic Broadcast(ZAB,Zookeeper原子消息广播协议) ZAB是一种专门为Zookeeper设计的一种支持崩溃恢复的原子广播协议,是Zookeeper保证数据一致性的核心算法。ZAB借鉴了Paxos算法,但它不是通用的一致性算法,是特别为Zookeeper设计的。 基于ZAB协议,Zookeeper实现了⼀种主备模式的系统架构来保持集群中各副本之间的数据的⼀致性,表现形式...原创 2021-02-04 21:23:44 · 2526 阅读 · 0 评论 -
ZooKeeper入门
思维导图前言在很多时候,我们都可以在各种框架应用中看到ZooKeeper的身影,比如Kafka中间件,Dubbo框架,Hadoop等等。为什么到处都看到ZooKeeper?一、什么是ZooKeeperZooKeeper是一个分布式服务协调框架,提供了分布式数据一致性的解决方案,基于ZooKeeper的数据结构,Watcher,选举机制等特点,可以实现数据的发布/订阅,软负载均衡,命名服务,统一配置管理,分布式锁,集群管理等等。二、为什么使用ZooKeeperZooKeeper能保转载 2020-08-09 18:25:19 · 8670 阅读 · 0 评论 -
注册中心原理和选型:Zookeeper、Eureka、Nacos、Consul和Etcd
讲解5种常用的注册中心,对比其流程和原理,无论是面试还是技术选型,都非常有帮助。对于注册中心,在写这篇文章前,我其实只对ETCD有比较深入的了解,但是对于Zookeeper和其它的注册中心了解甚少,甚至都没有考虑过ETCD和Zookeeper是否适合作为注册中心。经过近2周的学习,原来注册中心除了ETCD和Zookeeper,常用的还有Eureka、Nacos、Consul,下面我们就对这些常用的注册中心,初探它们的异同,便于后续技术选型。全文接近8千字,有点长,建议先收藏,再慢慢看,下面..转载 2022-03-17 12:07:58 · 3139 阅读 · 1 评论 -
php7.2.24 调用rdkafka 1.5.0 扩展项目实战
生产者脚本:<?php$conf = new RdKafka\Conf();$conf->setDrMsgCb(function ($kafka, $message) { file_put_contents("./dr_cb.log", var_export($message, true).PHP_EOL, FILE_APPEND);});$conf->setErrorCb(function ($kafka, $err, $reason) { file_put原创 2020-10-16 21:12:47 · 5560 阅读 · 0 评论 -
Kafka Tool 安装和基本使用
下载地址http://www.kafkatool.com/download.html下载界面不同版本的Kafka对应不同版本的工具,个人使用的是0.11,所以下载的是最新的2.0.4版本如果是Windows,直接点击exe文件,一键安装即可。Kafka Tool 工具使用1、Kafka 连接配置1)启动 Kafka Tool在安装目录下,双击可执行文件kafkatool.exe,启动 Kafka Tool2)配置 Kafka 连接信息...原创 2020-08-14 17:08:18 · 9796 阅读 · 0 评论 -
Kafka如何保证消息的顺序性
1. 问题比如说我们建了一个 topic,有三个 partition。生产者在写的时候,其实可以指定一个 key,比如说我们指定了某个订单 id 作为 key,那么这个订单相关的数据,一定会被分发到同一个 partition 中去,而且这个 partition 中的数据一定是有顺序的。消费者从 partition 中取出来数据的时候,也一定是有顺序的。到这里,顺序还是 ok 的,没有错乱。接着,我们在消费者里可能会搞多个线程来并发处理消息。因为如果消费者是单线程消费处理,而处理比较耗时的话,比如处理一转载 2020-08-03 16:55:16 · 8510 阅读 · 0 评论 -
PHP7操作Kafka
环境:Centos7,PHP7,kafka服务器IP:192.168.9.154,PHP服务器:192.168.9.157在192.168.9.157创建目录和文件//生产者<?phprequire './modules/kafka.php';$rk = new kafka();$rk->send(['hello my kafka']);echo 'OK~';//消费者<?phprequire './modules/kafka.php';$rk = new转载 2020-05-26 16:29:43 · 8032 阅读 · 0 评论 -
kafka常用操作
让kafka支持外网访问1.修改config/下的server.propertieslisteners=PLAINTEXT://192.168.230.130:9092host.name=192.168.230.130 #这里的ip填成你的kafka的ip继续修改advertised.listeners=PLAINTEXT://192.168.230.130:90922.至此,配置完成,记得重启kafka服务,可以下载kafka tools来验证是否可以外网访问注:配置完以后,操原创 2020-05-26 10:16:45 · 7853 阅读 · 0 评论 -
docker安装kafka集群
1.拉取镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka2. 启动zookeeper容器docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper3. 启动kafka容器docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA...转载 2020-05-19 17:51:27 · 7959 阅读 · 0 评论