深入浅出kafka【1】初识(消息队列概述、Kafka 的定义、基本术语、概念深入)

kafka简介 kafka的消息模型 阅读详情

一、消息队列概述

在学习 kafak 之前,我们简单把消息队列概括一下,消息队列是一种帮助开发人员解决系统间异步通信的中间件,常用于解决系统解耦和请求的削峰平谷的问题。它是一种中间件,意味着它是面向研发人员而非终端用户的产品,它的存在不能直接的创造价值,但可以有效的简化研发的开发工作。

消息队列常见的用途有如下几种:

  • 1、解耦:

    • 允许你独立的扩展或修改两边的处理过程,只需确保它们遵守同样的接口约束
  • 2、可恢复性:

    • 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。
  • 3、缓冲:

    • 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。
  • 4、灵活性 & 峰值处理能力

    • 在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。
  • 5、异步通信

    • 很多时候,用户不想也不需要立即处理消息。消息队列提供了异步处理机制,允许用户把一个消息放入队列,但并不立即处理它。想向队列中放入多少消息就放多少,然后在需要的时候再去处理它们。

消息队列有两种模式:

(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)

消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。

消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。

image-20210812165740903

(2)发布/订阅模式(一对多,消费者消费数据之后不会清除消息)

消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到topic的消息会被所有订阅者消费。这种模式的缺点就是当数据拉取方式为消费者被动接受时,消费者的消费速度可能跟不上生产者的生产速度。

image-20210812165755771

类似于 邮递员投递信件到邮箱,然后房主从邮箱中取件,这里的 “邮箱” 就是一个消息中间件。

而我们今天的主角 kafka 它作为中间件无非就是两个功能

  • 1、producer 生产的数据存到 队列
  • 2、Consumer 从 队列消费数据

二、概述

2.1 定义

Kafka 起初是由 linkedIn 公司 采用 Scala 语言开发的一个多分区、多副本且基于Zookeeper协调的分布式消息系统,现在属于 Apache顶级项目。 kafka 是一个分布式的基于 发布/订阅的 消息队列。主要应用于大数据实时处理领域。kafka 是一个分布式、支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的 基于发布订阅模式的消息引擎系统。

kafka 受到广大公司应用的主要原因有三点:

  • 消息系统:Kafka 和传统的消息系统都具备系统解耦、异步、缓存等功能外,还提供了消息 顺序性保障和 回溯消费功能。
  • 存储系统:Kafka 把消息持久化到磁盘,相对内存存储,降低了数据丢失风险,可以把它作为长期数据存储系统使用。
  • 流失处理平台:为流式处理框架提供了完整的流失处理类库。
2.2 Kafka 基本术语

image-20210816172409725

消息:kafka 中的数据单元被称为消息,也被称为记录,开源把它看作数据库表中某一行的记录。

批次:为了提高效率,消息会分批次写入 kafka,批次就代指的是一组消息。

主题:消息的种类称为 主题(topic),可以说一个主题代表了一类消息。相当于对消息进行分类。主题就像是数据库中的表。

分区:主题可以被分为若干个分区(partition),同一个主题中的分区可以不在一个机器上,有可能会部署在多个机器上,由此来实现 kafka 的伸缩性,单一主题中的分区有序,但是无法保证主题中所有的分区有序。

生产者: 向主题发布消息的客户端应用程序称为生产者(Producer),生产者用于持续不断的向某个主题发送消息。

消费者:订阅主题消息的客户端程序称为消费者(Consumer),消费者用于处理生产者产生的消息。

消费者群组:生产者与消费者的关系就如同餐厅中的厨师和顾客之间的关系一样,一个厨师对应多个顾客,也就是一个生产者对应多个消费者,消费者群组(Consumer Group)指的就是由一个或多个消费者组成的群体。

副本:为保证集群中的某个节点发生故障时,该节点上的 partition 数据不丢失,且 kafka 仍然能够继续工作,kafka 提供了副本机制,一个 topic 的每个分区都有若干个副本,一个 leader 和若干个 follower。

broker:一台 kafka 服务器就是一个 broker,一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic

leader :每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是 leader

follower:每个分区多个副本中的从,实时从leader中同步数据,保持和leader 数据的同步,leader 发生故障时,某个follower 会成为新的leader

image-20210818100127643

kafak 的基本机制是这样的:

  • 1、如图有两个分区,每条消息在发送到 broker 之前,会根据分区规则选择存储到哪个具体的分区,分区水平扩展了机器的 IO。
  • 2、kafak 为分区引入了多副本机制,通过增加副本数量可以提升容灾能力。关系为“一主多从”。由 leader 负责处理读写请求,follower 副本只负责与 leader 副本的消息同步,kafka 通过多副本机制实现了故障的自动转移。
  • 3、kafka 在消费的时候也具有容灾能力,consumer 使用 拉模式从服务端拉取消息,并且保存消费的具体位置,当消费者宕机后恢复上线时可以根据之前保存的消费位置重新拉取消息,这个叫做 offset,存储在 broker 中。
  • 4、分区中的所有副本统称 AR,所有与 leader 副本保持一定程度同步的副本,称为 ISR,如果某个副本跟不上会被踢出去,放入 OSR中。被踢出的副本如果追上进度,则放入 ISR 中。
2.3 概念深入

1、可以这么来理解 Topic、Partition、Broker。

一个topic,代表逻辑上的业务数据集,比如按数据库里不同表的数据操作消息区分放入不同 topic,订单相关操作消息放入订单 topic,用户相关操作消息放入用户 Topic,对于大型网站来说,后端数据都是海量的,订单消息很可能是非常巨量的,比如有几百个G甚至 TB 级别,那么把这么多数据都放在一台机器上肯定会有容量限制问题,那么就可以在 topic 内部划分多个 partition 来分片存储数据,不同的 partition 可以位于不同的机器上,每台机器上都运行一个 kafka 的进程 Broker。为什么要对 Topic 下数据进行分区存储?

  • 1、commit log 文件会受到所在机器的文件系统大小的限制,分区之后可以将不同的分区放在不同的机器上,相当于对数据做了分布式存储,理论上一个 topic 可以处理任意数量的数据。
  • 2、为了提高并行度

2、可以这么理解 leader 和 follower

每个分区都有一个 leader 以及 0个或者多个 follower,在创建 topic 时,kafka 会将每个分区的 leader 均匀的分配在每个 broker 上,我们正常使用 kafka 是感觉不到它们的存在。

但其实,所有的读写操作都是由 leader 处理,而所有的 follower 都复制 leader 的日志数据文件,如果 leader 出现故障时,follower 就会被选举为 leader。

理解:

  • 1、kafka 中的 leader 负责处理读写操作,而 follower 只负责副本数据的同步;
  • 2、如果 leader 出现故障,其他 follower 会被重新选举为 leader
  • 3、Follower 像一个 consumer 一样,拉取 leader 对应分区的数据,并保存到日志数据文件中。

3、理解 offset

同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看作是一个可追加的日志文件(Log),消息在被追加到分区日志文件的时候都会分配一个特定的偏移量(offset)。

  • 这点与 rabbitmq 的区别是,kafka 用log和偏移量来管理数据,而rabbitmq用 queue来管理消息。offset 是消息在分区中的唯一标识,rabbitmq 里面是通过消息 id 做唯一标识的。

kafka 通过它来保证消息在分区的顺序性

不过 offset 并不跨越分区,也就是说,kafka 保证的分区有序而不是主题有序。

4、理解消息架构

  • 第一层是主题层,每个主题可以配置 M 个分区,而每个分区又可以配置 N 个副本。
  • 第二层是分区层,每个分区的 N 个副本中只能有一个充当领导者角色,对外提供服务;其他 N-1 个副本是追随者副本,只是提供数据冗余之用。
  • 第三层是消息层,分区中包含若干条消息,每条消息的位移从 0 开始,依次递增。

最后,客户端程序只能与分区的 leader 副本进行交互。

三、安装与配置

3.1 安装部署

在 kafka 安装之前,需要部署 zookeeper 集群。

3.1.1 集群规划

3.1.2 jar 包下载
3.1.3 集群部署

1、解压安装包

[atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

2、修改解压后的文件名称

[atguigu@hadoop102 module]$ mv kafka_2.11-2.4.1.tgz kafka

3、在/opt/module/kafka目录下创建logs文件夹

[atguigu@hadoop102 kafka]$ mkdir logs

4、修改配置文件

[atguigu@hadoop102 kafka]$ cd config/
[atguigu@hadoop102 config]$ vi server.properties

输入以下内容:

#broker的全局唯一编号,不能重复
broker.id=0
#删除topic功能使能,当前版本此配置默认为true,已从配置文件移除
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5、配置环境变量

  • [atguigu@hadoop102 module]$ sudo vi /etc/profile
    ​
    #KAFKA_HOME
    export KAFKA_HOME=/opt/module/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    ​
    [atguigu@hadoop102 module]$ source /etc/profile
    

6、分发安装包

[atguigu@hadoop102 module]$ xsync kafka/
  • 【注意】:分发之后记得配置其他机器的环境变量

  • 7、分别在hadoop102 和hadoop103上修改配置文件中的 kafka/config/server.properties 的 broker.id=1 、broker.id =2

  • 8、启动集群:依次在hadoop102、hadoop103、hadoop104节点上启动kafka

  • 9、关闭集群

[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh stop
[atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh stop
[atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh stop

10、kafka群起脚本

#!/bin/bash
for i in hadoop101 hadoop102 hadoop103
do
   echo "===== $i kafka======"
   case $1 in
   "start")
        echo "==================== START $i KAFKA ==================== "
        ssh $i /opt/sofeware/kafka/bin/kafka-server-start.sh -daemon /opt/sofeware/kafka/config/server.properties
   ;;
   "stop")
        echo "==================== STOP $i KAFKA ==================== "
        ssh $i /opt/sofeware/kafka/bin/kafka-server-stop.sh
   ;;
   *)
   echo "Input error"
   exit
   ;;
   esac
done

11、执行脚本

[root@hadoop101 bin]# kafkaServer.sh start
===== hadoop101 kafka======
==================== START hadoop101 KAFKA ==================== 
===== hadoop102 kafka======
==================== START hadoop102 KAFKA ==================== 
===== hadoop103 kafka======
==================== START hadoop103 KAFKA ==================== 
[root@hadoop101 bin]# myjps.sh 
===== hadoop101 jps======
2181 QuorumPeerMain
9515 Kafka
9645 Jps
===== hadoop102 jps======
9188 Kafka
9301 Jps
1848 QuorumPeerMain
===== hadoop103 jps======
9248 Jps
1832 QuorumPeerMain
9134 Kafka
3.2 kafka 命令行操作
  • 1、查看当前服务器中的所有 topic

[root@hadoop101 bin]# kafka-topics.sh --zookeeper hadoop102:2181 --list
xiaolei

2、创建 topic

[root@hadoop101 bin]# kafka-topics.sh --zookeeper hadoop101:2181 --create --replication-factor 3 --partitions 1 --topic xiaolei
Created topic xiaolei.
  • 选项说明:

    • topic :定义 topic 名
    • replication-factor 定义副本数
    • partitions :定义分区数
  • 3、删除 topic

[root@hadoop101 bin]# kafka-topics.sh --zookeeper hadoop101:2181 --delete --topic xiaolei
Topic xiaolei is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
  • 需要server.properties中设置delete.topic.enable=true否则只是标记删除。

  • 4、发送消息,9092 是kafka 的端口号

[root@hadoop101 bin]# kafka-console-producer.sh --broker-list hadoop101:9092 --topic xiaolei
>xiaolei
>hahha

5、消费消息

[root@hadoop101 bin]# kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic xiaolei
xiaolei
hahha
​
从头消费:
[root@hadoop101 bin]# kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --from-beginning --topic xiaolei
xiaolei
hahha
​
  • --from-beginning:会把主题中以往所有的数据都读取出来。
    
  • 6、查看某个 Topic 的详情

    [root@hadoop101 bin]# kafka-topics.sh --zookeeper hadoop101:2181 --describe --topic xiaolei
    Topic: xiaolei  TopicId: OeU8H2csTnO8the7H-2obA PartitionCount: 1       ReplicationFactor: 3    Configs: 
            Topic: xiaolei  Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0
    

    7、修改分区数

[root@hadoop101 bin]# kafka-topics.sh --zookeeper hadoop101:2181 --alter --topic xiaolei --partitions 6
WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected
Adding partitions succeeded!

3.3 客户端生产与消费

先导入 jar 包

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.6.0</version>
        </dependency>
3.3.1 生产者实例代码
public class Producer1 {
    public static void main(String[] args) {
        Properties properties = new Properties();
​
        properties.put("bootstrap.servers","hadoop101:9092");
        properties.put("acks","all");
​
        properties.put("retries",1);// 重试次数
        properties.put("batch.size",16384);// 批次大小
        properties.put("linger.ms",1);// 等待时间
        properties.put("buffer.memory", 33554432);// 缓冲区大小
        // 指定key 的序列化器
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        // 指定 value 的序列化器
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
​
        KafkaProducer<String, String> producer = new KafkaProducer<>(properties);
​
        for (int i = 0; i <= 100; i++) {
            producer.send(new ProducerRecord<>("xiaolei",Integer.toString(i)));
        }
        producer.close();
    }
}
3.3.2 消费者实例代码
public class CustomConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
​
        props.put("bootstrap.servers", "hadoop101:9092");
​
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
​
        consumer.subscribe(Arrays.asList("xiaolei"));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records){
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}
3.4 服务端配置文件讲解

进入 kafak/config/service.properties 文件中,我们在这里解读下这个文件。

3.4.1 broker.id

每个 broker 都必须是唯一的id,该参数用来指定 kafka 集群中 broker 的唯一标识,默认值是 -1,如果没有配置,那么 Kafka 会自动生成一个。

3.4.2 listeners

image-20210818102735201

这个参数指定了 broker 监听客户端连接地址,即为客户端要连接 broker 的入口地址列表,如果没有配置,那么我们客户端写的案例就无法连接上。多个入口地址用 ,分割

如果配置 127.0.0.1 ,这样就无法对外提供服务,如果配置 0.0.0.0 则代表所有都可以连接。

3.4.3 zookeeper.connect

该参数指明 broker 要连接的 Zookeeper 集群的服务地址,此项没有默认值,必须填写,可以配置为 localhost:2181,也可以配置多个zookeeper 集群的地址。

image-20210818103434102

3.4.4 log.dir 和 log.dirs

Kafka 把所有的消息都保存在磁盘上,而这两个参数用来配置 Kafka 日志文件存放的根目录,一般情况下, log.dir 用来配置单个根目录,而 log.dirs 用来配置多个目录,用逗号分割,log.dirs 的优先级比 log.dir 高。

3.4.5 message.max.bytes

该参数用来指定 broker 所能接收消息的最大值,默认值为 1000012 B。如果 producer 发送的消息大于这个参数的值,则会出现异常。这个值要修改还需要改动一串的其他参数,因此,修改之前,看消息能否拆分。

四、小结

通过本文的学习,相信大家都对 Kafka 的概念和入门都有了初步认识,后面我们将深入 kafka 的内部实现原理,继续研究它。

SAP采购订单行项目增强实战:用BADI ME_GUI_PO_CUST添加自定义字段(避坑指南) 本文详细解析了如何通过BADI ME_GUI_PO_CUST在SAP采购订单行项目中添加自定义字段,包括技术架构理解、字段扩展步骤、自定义函数组创建及BADI实现。文章特别强调了避开官方文档未提及的陷阱,如字段映射限制和屏幕显示问题,并提供了高级优化技巧和性能建议。 阅读详情

相关推荐

数通基础(基本网络通信原理、IP地址如何配置、DHCP、DNS域名系统、路由技术基础、静态路由 、TCP和UDP、vlan虚拟局域网、trunk、三层交换)

我们知道了1、电脑开机,通过dhcp获取ip地址2、电脑输入域名,www.baidu.com电脑把www.baidu.com发到自己的dns服务器3、dns服务器把域名解析成对应的ip地址4、电脑向百度服务器发送一个请求。

qq_53235556的博客 6485

Kafka

一、基础概念 关键术语 1.主题(topic):一个 topic 里保存的是同一类消息,相当于对消息的分类,每个 producer 将消息发送到 kafka 中,都需要指明要存的 topic 是哪个,也就是指明这个消息属于哪一类。 2.分区(partition):每个 topic 都可以分成多个 partition,每个 partition 在存储层面是 append log 文件。任何发布到此 partition 的消息都会被直接追加到 log 文件的尾部。为什么要进行分区呢?最根本的原因就.

sinat_34814635的博客 1万+

AI辅助游戏开发实战:Kimi K3提升Unity开发效率与代码质量

在游戏开发领域,有限状态机(FSM)是构建角色AI行为逻辑的核心设计模式,它通过定义明确的状态和转换条件,使游戏实体能够智能地响应环境变化。其原理在于将复杂的行为分解为离散的状态节点,并通过事件驱动状态切换,从而实现清晰、可维护的AI架构。这项技术的价值在于显著提升了游戏角色的行为真实感和开发效率,被广泛应用于NPC行为控制、角色动画管理、UI流程等场景。随着AI编程助手的兴起,开发者现在可以借助如Kimi K3这类工具,通过自然语言指令快速生成和优化FSM等复杂系统的代码框架,将更多精力投入到核心玩法与性

weixin_30430677的博客 412

学习系列——kafak入门及其原理

Kafka简介 Kafka是linkedin使用Scala编写具有高水平扩展和高吞吐量的分布式消息系统。Kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。无论是Kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性,为集群保存一些meta信息。 主流MQ对比 ActiveMQ RabbitMQ Kafka

weixin_43963583的博客 6053

金蝶云星空初级实施认证考题

Q4.[单选题] (1.5分) 总账中的多账簿账表主要是基于什么进行查看的Q47.[多选题] (2.5分) 销售订单的收款计划页签勾选预收之后,预收控制环节可以控制哪些节点?

m0_51994557的博客 3126

展锐双摄帧同步实战:从配置到调试的完整避坑指南

本文深入剖析了在展锐平台上实现双摄帧同步的完整流程与核心技术。详细对比了硬件帧同步与软件帧同步的差异、应用场景及核心挑战,提供了从XML配置、驱动层适配到调试验证的实战指南。重点强调了硬件帧同步必须与固定帧率强绑定这一关键避坑点,并分享了针对景深虚化等场景的同步质量验证方法及长稳测试策略。

kiwi8的博客 403

kafa简介及基本原理

kafka,ActiveMQ,RabbitMQ是当今最流行的分布式消息中间件,其中kafka在性能及吞吐量方面是三者中的佼佼者,不过最近查阅官网时,官方与它的定义为一个分布式流媒体平台。kafka最主要有以下几个方面作用:发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错持久的方式存储记录流。处理记录发生的流我们说kafka是一个分布式消息系统,(所谓的分布式,就是一个业务分拆多个子业务,部署在不同的服务器上,分布式系统是指通过网络连接的多个组件,通过交换信息协作而形成的系统。)。 消息保存在Top

weixin_44603464的博客 6257

数字IC后端时序违例修复:setup/hold冲突与时钟树优化实战

时序收敛是数字IC后端设计中最关键的环节之一,直接影响芯片能否在目标频率下稳定工作。建立时间与保持时间的本质是寄存器对数据稳定性的物理约束,而实际工程中,setup违例和hold违例往往此消彼长,冲突的根源在于数据路径与时钟路径的延迟匹配。时钟树综合(CTS)作为连接逻辑与物理的关键步骤,其skew、insertion delay和transition的优化直接决定了时序修复的成败。通过useful skew技术、合理的单元替换和路径结构调整,可以系统性地解决setup/hold冲突,实现时序收敛。本文结合

weixin_28292761的博客 226

kafka

从消费、暂存再到转发,线程之间都是一一对应的关系。2./brokers/topics:临时节点,节点保存broker节点下所有的topic信息,每一个topic节点下包含一个固定的partitions节点,partitions的子节点就是topic的分区,每个分区下保存一个state节点、state节点保存着当前leader分区和ISR的brokerID,state节点由leader创建,若leader宕机该节点会被删除,直到有新的leader选举产生、重新生成state节点。这是最强的数据保证。

sj5181018的博客 740

Godot 4.x 实现 JRPG 回合制战斗系统:架构、状态机与实战优化

游戏开发中,状态机是管理复杂逻辑流转的核心设计模式,尤其在回合制战斗这类事件驱动的场景中。其原理是通过定义有限的状态和明确的转移条件,来控制系统在不同阶段的行为,从而实现清晰、可维护的流程控制。这项技术的价值在于能够将杂乱的条件判断代码结构化,降低模块间的耦合度,提升代码的可读性和可扩展性。在游戏开发领域,状态机广泛应用于角色AI、UI流程、战斗系统等场景。本文以Godot引擎为例,深入探讨如何运用节点与信号驱动架构,构建一个健壮的JRPG(日式角色扮演游戏)回合制战斗系统。内容涵盖从核心的**状态机**设

weixin_33749242的博客 501

使用 Simulink 和 Simscape Electrical 工具箱设计一个 Buck 转换器系统

Buck 转换器(降压转换器)是一种常用的 DC-DC 转换器,用于将较高的输入电压转换为较低的输出电压。为了评估其抗干扰能力,我们可以在模型中引入不同的干扰源,并观察系统的响应情况。电网电压波动:输入电压的变化。负载突变:负载电阻或电感的变化。电磁干扰:高频噪声或脉冲干扰。通过模拟这些干扰,我们可以分析系统的动态响应特性,并采取相应的措施来提高系统的抗干扰能力。

xiaoheshang_123的博客 378

深入浅出理解基于 Kafka 和 ZooKeeper 的分布式消息队列

消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构,是大型分布式系统不可缺少的中间件。 消息队列在电商系统、消息通讯、日志收集等应用中扮演着关键作用,以阿里为例,其研发的消息队列(MQ)服务于阿里集团超过11年,在历次天猫双十一活动中支撑了万亿级的数据洪峰,为大规模交易提供了有力保障。 目前在生产环境,使用较多的消息队列有...

GitChat 1万+

Keil uVision5 STM32 startup_stm32f10x_md_vl.s error A3906U Malformed via file target not created..

🏆 本文收录于《全栈Bug调优(实战版)》专栏,致力于分享我在项目实战过程中遇到的各类Bug及其原因,并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者,本文将为你指引出一条更高效的Bug修复之路,助你早日登顶,迈向财富自由的梦想🚀!同时,欢迎大家关注、收藏、订阅本专栏,更多精彩内容正在持续更新中。让我们一起进步,Up!Up!Up!    备注: 部分问题/难题源自互联网,经过精心筛选和整理,结合数位十多年大厂实战经验资深大佬经验总结所得,数条可行方案供所需之人参考。

**My Coding Family** 2789

深入浅出消息队列---1、消息队列概述

消息队列介绍 消息队列(英语:Message queue)是一种进程间通信或同一进程的不同线程间的通信方式,软件的贮列用来处理一系列的输入,通常是来自用户。 消息队列提供了异步的通信协议,每一个贮列中的纪录包含详细说明的数据,包含发生的时间,输入设备的种类,以及特定的输入参数,也就是说:消息的发送者和接收者不需要同时与消息队列交互。消息会保存在队列中,直到接收者取回它。 消息队列应用场景: 异步处理: 异步处理是将很多串行进行的步骤转成异步处理,还是已订单系统为例,下单订单需要创建订单和锁定库存,确定本次

u014526891的博客 9806

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

深入浅出kafka原理-1-初识只作乍见之欢

深入浅出kafka原理-本文将以常见面试题为主线,从浅入深介绍kafka的原理,涉及常见的如何保证消息不丢失,副本的同步机制,请求流程,网络机制等。

进阶架构师 551

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Kafka深入浅出——初识Kafka

1、消息引擎背景 根据维基百科的定义,消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递. 即:系统 A 发送消息给消息引擎系统,系统 B 从消息引擎系统中读取 A 发送的消息。 2、消息引擎的分类 点对点模型:也叫消息队列模型。如果拿上面那个“民间版”的定义来说,那么系统 A 发送的消息只能被系统 B 接收,其他任何系统都不能读取 A 发送的消息。日常生活的例子比如电话客服就属于这种模型:同一个客户呼入电话只能被一位客服人员处理,第二个客服人员不能为该

HiBoyljw的博客 385

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

深入浅出 Kafka 基本概念

目录1. Kafka 简介1. 简介2. 基本概念2. Kafka 生产者1. 分区策略2. 数据可靠性保证3. 3. Exactly Once 语义3. Kafka 消费者1. 消费方式2. 分区分配策略3. offset 的维护4. 深入理解 Kafka 副本机制1. Kafka集群2. 副本机制3. 数据请求最后 1. Kafka 简介 1. 简介 Apache Kafka 是一个分布式的流处理平台。它具有以下特点: 支持消息的发布和订阅,类似于 RabbtMQ、ActiveMQ 等消息队列 支持

Thpffcj的博客 468

Kafka - 是什么?一篇文章带你读懂分布式消息队列核心概念

本文介绍了Apache Kafka的核心概念、架构原理与使用场景。作为分布式流处理平台,Kafka通过生产者-消费者模型实现高吞吐、低延迟的消息传递,支持分区、副本等机制保障可靠性和扩展性。文章包含Kafka与传统消息队列的对比、Docker快速部署指南,以及Java生产者代码示例,帮助开发者快速理解并应用这一技术。Kafka特别适合日志聚合、实时流处理等大数据场景,是构建现代分布式系统的关键组件。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

消息队列-深入浅出Kafka(包含稀疏索引的讲解)

首先我们得去官网看看是怎么介绍Kafka的:翻译成中文就是:Apache Kafka 是一个开源的分布式流处理平台。Kafka 不是一个消息系统吗?为什么被称为分布式的流处理平台呢?这两者是一回事吗?一定有读者会有这样的疑问,要解释这个问题,需要先从 Kafka 的诞生背景说起。Kafka 最开始其实是 Linkedin 内部孵化的项目,在设计之初是被当做「数据管道」,用于处理以下两种场景:1、运营活动场景:记录用户的浏览、搜索、点击、活跃度等行为。

S_ZaiJiangHu的博客 5688

白话KAFKA之基本概念

上一篇文章提到在不依赖kafka的情况下,如何直接使用python实现生产消费模型,但是也只适用于数据量不是特别大而且对于数据处理的实时性没有那么高的场景,要真正实现大数据的生产消费,那咱不得不聊聊kafka了。由于kafka可以聊的点不少,所以开个新坑写一个系列吧,本篇就先大致介绍一下kafka的基本情况。 一个睡前小故事 周末睡觉前无聊的刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,猫条买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最香款.

<p>专注挖坑</p> 317

深入浅出消息队列

MQ,Message Queue,是一种提供消息队列服务的中间件,也称为消息中间件,是一套提供了消息生产、存储、消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。

https://github.com/cv70 1180

深入浅出理解kafka ---- 万字总结

深入浅出理解kafka ---- 万字总结

txh1873749380的博客 3286

消息队列kafka中间件详解:案例解析(第10天)

本文主讲述了 消息队列,Kafka的架构,Kafka的相关使用和常用shell命令,Kafka的Python API的操作;

syhiiu的博客 1987

消息队列以及非常牛的kafka

1、对计算机有初步了解的人都知道,队列是个什么玩意,它就像一个管道一样先进先出。 那么我们来了解一下消息队列是个啥玩意吧!!! 概念 2、Message Query(MQ),消息队列中间件,很多初学者认为,MQ通过消息的发送和接受来实现程序的异步和解耦,mq主要用于异步操作,这个不是mq的真正目的,只不过是mq的应用,mq真正的目的是为了通讯。他屏蔽了复杂的通讯协议,像常用的dubbo,http协议都是同步的。这两种协议很难实现双端通讯,A调用B,B也可以主动调用A,而且不支持长连接。mq做的就是在这

qq_61353850的博客 3650

Kafka的基本概述

kafka概念解释 kafka是用于构建实时数据管道和流应用程序,具有横向扩展,高容错,wicked fast(变态快)等优点。 Apache kafka是消息中间件的一种,举个例子,生产者消费者,生产者生产鸡蛋,消费者消费鸡蛋,生产者生产一个鸡蛋,消费者就消费一个鸡蛋,假设消费者消费鸡蛋的时候噎住了(系统宕机了),生产者还在生产鸡蛋,那新生产的鸡蛋就丢失了。再比如生产者很强劲(大交易量的情况),...

weixin_43734271的博客 264

图解Kafka:5分钟搞懂消息队列基本原理

最近在学习消息队列技术,发现Kafka作为分布式消息系统的代表,在实时数据处理领域应用非常广泛。经过一段时间的实践,我总结了一套适合新手的理解方式,用生活场景类比+可视化流程来拆解Kafka的核心原理。对于想快速验证概念的新手,这种开箱即用的体验确实友好。想象Kafka就像一个大型快递分拣中心(类比Broker集群),它的核心工作是把寄件人(Producer)的包裹(消息)快速准确地派送给收件人(Consumer)。这种设计让Kafka能同时处理海量订单(消息),即使某个网点故障,其他网点也能继续运作。

AmberLeopard26的博客 922
上一篇: 彻底读懂ThreadLocal与Synchronized区别(代码案例详解)
下一篇: 深入浅出kafka【2】生产者客户端详解
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值