昨日的桥

每一个流式处理系统都不一样，从基本的消费者、处理逻辑和生产者的组合，到使用了Spark Streaming和机器学习软件包的复杂集群，以及其他很多处于中间位置的组件。这里，对一些常见的流式处理的设计模式进行了罗列，具体如下：1、单个事件处理处理单个事件是流式处理最基本的模式。这个模式也叫map或filter模式，因为它经常被用于过滤无用的事件或者用于转换事件（map这个术语是从Map-Redu...

Kafka中的流式处理是Kafka的一个中功能，通过流式处理，Kafka可以对实时数据进行实时处理，虽然，数据处理的响应时间并没有“请求-响应”模式的迅速，但是相对于一般的批处理模式还是要快很多的。对于一般的客户服务、物联网系统的状态预测、异常检测等还是非常高效的、实用的方法。所以，还是有必要好好掌握这方面的知识。下面对Kafka中流式处理及相关的概念进行了汇总。01、什么是流式处理数据流（也...

Kafka是一款基于发布与订阅的消息系统。其中消息的订阅以及最终的消费是由Kafka中的消费者来完成。关于Kafka中的消费者，其包含的内容比较多，现在归纳如下：01、消费者和消费者群组Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接受主题一部分分区的消息。往群组里增加消费者是横向伸缩消费能力的主要方式。但是要注意，不要让消费者的数量超过主题分区的数量，多...

Kafka中的生产者主要是用来向Kafka中写入消息。其包含的主要内容有如下个方面：01、应用程序往Kafka中写入消息的场景记录用户的活动（用于审计好分析）、记录度量指标、保存日志消息、记录智能家电的信息、与其他应用程序进行异步通信、缓冲即将写入到数据库的数据，等等。02、Kafka发送消息的过程1、创建ProducerRecord对象2、使用send()发送ProducerRecor...

一、常规配置1、broker.id：broker标识符，默认是0。2、port：端口，如果使用配置样本来启动Kafka，会默认监听9092端口。3、zookeeper.connect：用于保存broker元数据的ZooKeeper地址。该配置参数是用逗号分隔的一组hostname:port/path列表，每一部分含义如下：（1）hostname是ZooKeeper服务器的机器名或IP地址；...

Kakfa中有很多概念，以下对其中常见的概念进行整理，方便学习和后续回顾。01、消息和批次Kafka的数据单元被称为消息，可以把消息看成是数据库里的一个“数据行”或一条“记录”。消息被分批次写入Kafka，批次就是一组消息，这些消息属于同一个主题和分区。02、模式根据应用程序的需求，消息模式有许多可用的选项。Kafka的许多开发者喜欢使用Apache Avro，Avro提供了一种紧凑的序列...