- 博客(4)
- 收藏
- 关注
RSS订阅原创 【Kafka】知识点（二）Kafka API的使用
问题1：如果在业务中，高并发的写请求特别多，应该怎么办？高并发的读请求多的时候，引入MQ消息队列来解决高并发的写请求问题。一、Kafka概念：Producer、Broker、ConsumerProducer
2021-12-09 16:27:53
1065
原创 【Kafka】知识点（一）Kafka基础
前言如果在业务中，高并发的写请求特别多，应该怎么办？高并发的读请求多的时候，引入MQ消息队列来解决高并发的写请求问题。在这里我们用Kafka来解决这一个问题。一、Kafka是什么？ 功能 分布式流式数据实时存储：分布式存储 实时消息队列存储，工作中主要使用的功能 分布式流式计算：分布式计算：KafkaStream 这个功能一般不用，工作中用流式计算：Spark | Flink 定义 分布式.
2021-12-09 13:34:23
1715
原创 【Kafka】知识点（三）
Kafka分区副本概念：AR、ISR、OSR 分区副本机制：每个kafka中分区都可以构建多个副本，相同分区的副本存储在不同的节点上 为了保证安全和写的性能：划分了副本角色 leader副本：对外提供读写数据 follower副本：与Leader同步数据，如果leader故障，选举一个新的leader 选举实现：Kafka主节点Controller实现 AR：All - Replicas 所有副本：指的是一个分区在所有
2021-12-01 17:45:29
1074
原创 【MapReduce】执行流程总结
MapReduce的执行流程MapReduce一共可以分为两个阶段Map阶段和Reduce阶段、但是有一部分也可以划分为三个阶段（Map、Shuffle、Reduce）Map和Reduce阶段分属两台不同的主机，两者之间通过网络通信。整个的执行流程可以如下图所示一、Map阶段Map负责分1-1 MapTask阶段读取HDFS上的文件，根据逻辑切片（这里的逻辑切片不是HDFS上面的BLOCK，而是MapReduce自己定制的切片）来启动线程(MapTask)，.
2021-11-29 21:39:32
1905
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人