小坏说后端

大数据之 Kafka 面试题 完整使用一、面试问题1.Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？2.Kafka 中的 HW、LEO 等分别代表什么？3.Kafka 中是怎么体现消息顺序性的？4.Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？5.Kafka 生产者客户端的整体结构是什么样子的？使用了几个线程来处理？分别是什么？6.“消费组中的消费者个数如果超过 topic 的分区，那么就会有消费者消费

大数据之 Flume 对 接 Kafka 完整使用一、Flume 对 接 Kafka1）配置 flume(flume-kafka.conf)2） 启动 kafkaIDEA 消费者3） 进入 flume 根目录下，启动 flume4） 向 /opt/module/data/flume.log 里追加数据，查看 kafka 消费者消费情况一、Flume 对 接 Kafka1）配置 flume(flume-kafka.conf)# definea1.sources = r1a1.sinks = k1a

大数据之 Kafka 监 控 完整使用一、Kafka Eagle1.修改kafka 启动命令2.上传压缩包3.解压到本地4.进入刚才解压的目录5.将 kafka-eagle-web-1.3.7-bin.tar.gz 解压至/opt/module6.修改名称7.给启动文件执行权限8.修改配置文件9.添加环境变量10.启动11.登录页面查看监控数据一、Kafka Eagle1.修改kafka 启动命令修改 kafka-server-start.sh 命令中if [ "x$KAFKA_HEAP_OPTS"

大数据之 Kafka API 从入门到放弃一、Producer API1、消息发送流程2、KafkaProducer 发送消息流程3、异步发送 API1）导入依赖2）编写代码1、不带回调函数的 API一、Producer API1、消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumula

大数据之 KafKa 架构深入源码分析一、Kafka 工作流程及文件存储机制1、Kafka 工作流程2、Kafka文件存储机制3、index文件和log文件详解二、Kafka 生产者1、分区策略1）分区的原因2）分区的原则2、数据可靠性保证1）副本数据同步策略2）ISR3）ack 应答机制4）故障处理细节（1）follower 故障（2）leader 故障3、Exactly Once 语义三、Kafka 消费者1、消费方式2、分区分配策略1）RoundRobin2）Range3、offset 的维护1）修改

大数据之 KafKa 集群搭建一、集群规划部署1、集群规划2、jar 包下载二、集群部署1）解压安装包2）修改解压后的文件名称3）在/opt/module/kafka 目录下创建 logs 文件夹4）修改配置文件5）配置环境变量6）分发安装包7）分别在 hadoop103 和 hadoop1048）启动集群9）关闭集群10）kafka 群起脚本三、Kafka 命令行操作1）查看当前服务器中的所有 topic2）创建 topic3）删除 topic4）发送消息5）消费消息6）查看某个 Topic 的详情7）修

大数据之 KafKa 概 述了解一、定义二、消息队列1、传统消息队列的应用场景2、使用消息队列的好处1）解耦2）可恢复性3）缓冲4）灵活性 & 峰值处理能力5）异步通信3、消息队列的两种模式（1）点对点模式（2）发布/订阅模式三、Kafka 基础架构学习网站推荐一、定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。二、消息队列1、传统消息队列的应用场景MQ传统应用场景之异步处理2、使用消息队列的好处1）解耦