kafka
关注
分享
扫一扫
文章平均质量分 84
kafka
爱上口袋的天空
一步一流年，止不住的脚步,挽不回的青春！
展开
-
日活量百万数据，Kafka硬件如何配置
生产者调优、硬件选择假设：100万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条处理速度=1亿/(24*3600s)=1150条/s一条日志按1k计算，1150 条/每秒钟 * 1k ≈ 1m/s 。高峰期每秒钟：1150 条 * 20 倍 = 23000 条。数据量：20MB/s服务器台数选择：服务器台数= 2 * (生产者峰值生产速率 * 副本 / 100)+ 1 = 2 * （20m/s * 2 / 100） + 1 = 3 台转载 2022-04-11 21:10:53 · 2571 阅读 · 0 评论 -
kafka之Eagle 监控
一、环境准备Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。1、准备一台mysqlKafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。 这里我们使用之前安装的mysql8.02、Kafka 环境准备 使用之前安装的kafka集群二、Kafka-Eagle 安装1、首先修改kafka集群的/home/dhapp/software/kafka_2....转载 2022-04-10 20:57:41 · 962 阅读 · 0 评论 -
Kafka 消费者之消费方式、工作流程、消费者案例（订阅主题、订阅分区）、消费者组案例、分区的分配以及再平衡、offset 位移、消费者事务、数据积压（消费者如何提高吞吐量）
一、Kafka 消费方式二、Kafka 消费者工作流程1、消费者总体工作流程2、消费者组原理消费者组初始化流程：先选出使用哪台服务器的coordinator，根据groupid的hashcode值进行50求模处理，就得到了分区编号，该分区编号在哪个broker节点上，则该节点的coordinator就负责本次消费者组的事务协调。3、消费者重要参数bootstrap.servers 向 Kafka 集群建立初始连接用到的 host/port 列表。...转载 2022-04-10 16:25:42 · 940 阅读 · 0 评论 -
Kafka之副本信息、Leader 选举流程、故障处理细节、分区副本分配、手动调整分区副本存储、Leader Partition 负载平衡、增加副本、文件存储机制、文件清理策略、高效读写数据
一、副本基本信息 (1）Kafka 副本作用：提高数据可靠性。（2）Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会 增加磁盘存储空间，增加网络上数据传输，降低效率。（3）Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。（4）Kafka 分区中的所有副本统称为 AR（Assigned Repllicas）。...转载 2022-04-09 20:32:07 · 1798 阅读 · 0 评论 -
Kafka 之Broker工作流程、节点服役和退役
一、Kafka Broker 工作流程1、Zookeeper 存储的 Kafka 信息（1）启动 Zookeeper 客户端。cd/home/dhapp/software/apache-zookeeper-3.6.3-bin[dhapp@conch01 apache-zookeeper-3.6.3-bin]$ bin/zkCli.sh2）通过 ls 命令可以查看 kafka 相关信息。2、Kafka Broker 总体工作流程1...转载 2022-04-08 22:34:06 · 851 阅读 · 0 评论 -
kafka之生产者发送流程、异步同步发送、分区的好处策略、自定义分区、如何提高吞吐量、数据可靠性、数据去重以及数据有序
一、生产者消息发送流程1、发送原理 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列== RecordAccumulator==。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。2、生产者重要参数列表二、...转载 2022-04-07 23:16:03 · 1691 阅读 · 0 评论 -
kafka主题命令行操作
1、操作主题命令参数2、创建 topic命令创建一个名为first的主题命令如下：bin/kafka-topics.sh --bootstrap-server 192.168.56.20:9092 --create --partitions 1 --replication-factor 3 --topic first选项说明： --topic定义 topic 名 --replication-factor定义副本数 --partitions定义分区数3、查...转载 2022-04-05 22:06:19 · 3530 阅读 · 0 评论 -
kafka3.0.0集群搭建
一、环境说明1、服务器资源规划如下表:IP地址 主机名 部署的资源 192.168.56.20 conch01 zookeeper、kafka 192.168.56.21 conch02 zookeeper、kafka 192.168.56.22 conch03 zookeeper、kafka 2、版本选择软件 版本号 jdk OpenJDK8U-jdk_x64_linux_hotspot_8u322b06.tar原创 2022-04-05 21:24:35 · 2862 阅读 · 0 评论 -
kafka入门之概述、应用场景、模式以及基础架构
一、kafka概述Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用...转载 2022-04-05 17:11:02 · 625 阅读 · 0 评论 -
kafka启动/关闭脚本
启动脚本 #!/bin/shecho "start kafka..."for i in 01 02 03do ssh eshop-cache$i "source /etc/profile;cd /usr/local/module/kafka_2.12-2.2.0;nohup bin/kafka-server-start.sh config/server.properties &...原创 2019-11-10 17:57:10 · 435 阅读 · 0 评论 -
Kafka_2.12-2.2.0集群搭建
安装包 a：zookeeper版本 b：kafka版本 虚机环境 3台机器 a：192.168.191.101 eshop-cache01 b：192.168.191.102 eshop-cache02 c：192.168.191.103 eshop-cache03...原创 2019-11-07 22:31:23 · 605 阅读 · 0 评论