core815的专栏

flink实现复杂kafka数据读取

EFAK kafka可视化管理工具部署使用

（1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。（2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发送下一条消息。这种情况下，如果follower没有成功备份数据，而此时leader又挂掉，则消息会丢失。

kafkatool使用

RocketMQ淘宝内部的交易系统使用了淘宝自主研发的 Notify 消息中间件，使用 Mysql 作为消息存储媒介，可 完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011 年初，Linkin 开源 了 Kafka 这个优秀的消息中间件，淘宝中间件团队在对 Kafka 做过充分 Review 之后，Kafka 无限消 息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用 在淘宝交易、订单、充值等场景下还有诸多特性不满足，为此我们重新用 Java

Kafka可视化管理工具kafka-manager安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.html线上环境规划JVM参数设置修改bin/kafka-start-server.sh中的jvm设置，假设机器是32G内存，可以如下设置：export KAFKA_HEAP_OPTS="‐Xmx16G ‐Xms16G ‐Xmn10G ‐XX:MetaspaceSize=256M ‐XX:+UseG1GC ‐XX:MaxGCPauseMi

Kafka设计原理详解Kafka核心总控制器Controller在Kafka集群中会有一个或多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息。当使用kafka-topic.sh脚本为某个topic增加分区数量时，同样还是由控制器负责让新分区被

1、一个消费者组1.1、消费者数量小于分区数量只有一个消费者时，消费者1将收到4个分区的全部消息。1.2、消费者数量等于分区数量当有四个消费者时，每个消费者都可以接受一个分区的消息。1.3、消费者数量大于分区数量当有5个消费者时，会有闲置的消费者。2、两个消费者组消费者组之间是互不影响的，如图：...

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协 调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系 统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写， Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka的使用场景日志收集：一个公司可以用

原写法：bin/kafka‐server‐start.sh ‐daemon config/server.properties新写法:./kafka-server-start.sh -daemon …/config/server.properties（在bin里面执行）具体原因，暂未知。