- 博客(13)
- 收藏
- 关注
RSS订阅原创 gradle com.palantir.docker
是一个开源的Gradle插件，它允许在Gradle项目中构建和发布Docker镜像。闭包中定义镜像名称、标签、Dockerfile位置、构建参数和Docker仓库凭证。插件构建Docker镜像。我们还指定了要推送到Docker仓库，并使用。插件，你需要在build.gradle文件中进行配置。，让Gradle构建和发布Docker镜像。然后，我们创建了一个新的Gradle任务。上面的例子中，我们首先添加了。最后，我们可以在命令行中运行。属性来更改这些行为。
2023-06-26 10:06:14
439
1
转载 SpringCloud详解
ribbion是一个负载均衡客户端，类似nginx反向代理，可以很好的控制http和tcp的一些行为。Feign默认集成rebbion。zuul的主要作用是路由转发和过滤器，路由功能是微服务的一部分，比如/api/user/转发到user服务。1.创建service-zuul工程。
2023-04-25 14:24:50
296
转载 Kafka 读写原理与存储结构
我么知道，Kafka中一个Topic由多个partition组成。Kafka会为每个partition按照topicName-partitionNumber的方式创建文件夹（文件夹位于log.dir属性定义的目录下）。例如有一个名为report的topic，它拥有4个partition，那么Kafka会为其创建4个数据文件夹：report-0report-1report-2report-3其中每个文件夹下都存储着对应partition的数据文件。
2023-04-25 00:16:04
708
转载 Kafka 控制器Controller
当 partition 1 的 leader，就是 broker.id = 1 的节点挂掉后，那么 leader 0 或 leader 2 成为 partition 1 的 leader，那么 leader 0 或 leader 2 会管理两个 partition 的读写，性能会下 降，当 leader 1 重新启动后，如果开启了 leader 均衡机制，那么 leader 1 会重新成为 partition 1 的 leader，降低 leader 0 或 leader 2 的负载。
2023-04-25 00:12:17
362
转载 Kafka controller和消息分片&Leader election
(1)、Controller在Zookeeper注册Watch，一旦有Broker宕机（这是用宕机代表任何让系统认为其die的情景，包括但不限于机器断电，网络不可用，GC导致的Stop The World，进程crash等），其在Zookeeper对应的znode会自动被删除，Zookeeper会fire Controller注册的watch，Controller读取最新的幸存的Broker(2)、Controller决定set_p，该集合包含了宕机的所有Broker上的所有Partition。
2023-04-25 00:10:53
145
转载 Kafka的控制器controller详解
控制器组件（Controller），是ApacheKafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的职责。换句话说，每个正常运转的 Kafka 集群，在任意时刻都有且只有一个控制器。官网上有个名为 activeController 的 JMX 指标，可以帮助我们实时监控控制器的存活状态。
2023-04-25 00:07:21
568
转载 kafka分区----分区如何分配到broker----生产者分区策略----消费者消费策略
提高kafka并行度，其实就是提高kafka topic分区的个数，分区个数提高了，同一时间同一消费组内可以有的消费者可以更多，消费能力增强。一般分区和消费组内的消费者保持对应。2.分区下的Leader和Follower。3.分区如何分配到broker。1.分区的一些基本概念规则。
2023-04-25 00:02:26
766
转载 Kafka 分区
每一个分区都是一个有序、不可变的消息序列，后续新来的消息会源源不断、持续追加到分区的后面，这相当于一种结构化的提交日志（类似于Git的提交日志）分区中的每一条消息都会被分配一个连续的id 值（即 offset）, 该值用于唯一标识分区中的每一条消息。分区中的消息是存储到日志中的，而且同一个分区中的消息数据是按照发送顺序严格有序的。分区在逻辑上对应的日志，但生产者将消息写入分区中时， 实际上写到分区所对应的日志当中。而日志可以看作是一种逻辑上的概念，它对应于磁盘上的一个目录。
2023-04-24 22:29:37
149
转载 解析Kafka中的 Topic 和 Partition
Kafka 和 ActiveMQ 一样，都是非常优秀的消息订阅/发送的中间件。在 ActiveMQ 中，我们知道它有 Queue 和 Topic 的概念，但是在 Kafka 中，只有 Topic 这一个概念(Kafka 消费端通过 group.id 属性可以实现 ActiveMQ 中 Queue 的功能，参见图1)在 Kafka 中，Topic 是一个存储消息的逻辑概念，可以理解为是一个消息的集合。每条发送到 Kafka 集群的消息都会自带一个类别，表明要将消息发送到哪个 Topic 上。
2023-04-24 22:28:11
3965
1
转载 Kafka的分片和索引机制
index文件左面顺序是offset偏移量，右面是字节的位置，还存储了消息的大小，比如定位到3-756,3是offset偏移量，756是字节开始位置，消息大小为1000，所以直接定位到消息756到1756的位置，既为该条消息。segment根据partition的offset命名，定位到某个segment文件后，是使用二分查找法查找消息。
2023-04-24 21:21:40
177
2
转载 Kafka之Controller(Broker的领导者)
每个Kafka集群任意时刻都只能有一个Controller。当集群启动时，所有Broker都参与Controller的竞选，最终有一个胜出，一旦Controller在某个时刻崩溃，集群中的其他的Broker会收到通知，然后开启新一轮的Controller选举，新选举出来的Controller将承担起之前Controller的所有工作。
2023-04-24 20:21:13
656
1
转载 【kafka消息存储机制和原理】
Kafka 还提供了“日志压缩（Log Compaction）”功能，通过这个功能可以有效的减少日志文件的大小，缓解磁盘紧张的情况，在很多实际场景中，消息的 key 和 value 的值之间的对应关系是不断变化的，就像数据库中的数据会不断被修改一样，消费者只关心 key 对应的最新的 value。我们现在大部分企业仍然用的是机械结构的磁盘，如果把消息以随机的方式写入到磁盘，那么磁盘首先要做的就是寻址，也就是定位到数据所在的物理地址，在磁盘上就要找到对应的柱面、磁头以及对应的扇区；默认的保留时间是：7 天。
2023-04-24 15:58:37
721
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人