Hazelcast Jet 分布式流批处理引擎使用指南

Hazelcast Jet 分布式流批处理引擎使用指南

hazelcast-jet Distributed Stream and Batch Processing 项目地址: https://gitcode.com/gh_mirrors/ha/hazelcast-jet

1. 项目介绍

Hazelcast Jet 是一个开源的、内存式的分布式批和流处理引擎。它可以用于处理大量的实时事件或静态数据集。单个 Hazelcast Jet 节点已被证明每秒可以聚合 10 百万事件，延迟低于 10 毫秒。它提供了一个 Java API，通过数据流编程模型构建流和批处理应用。当您将应用部署到 Jet 集群时，Jet 会自动利用集群上的所有计算资源来运行您的应用。

2. 项目快速启动

首先，确保您的环境中已安装 Java。

下载与启动

您可以从以下地址下载 Hazelcast Jet：

docker run -p 5701:5701 hazelcast/hazelcast-jet

或者，使用 Maven 添加 Jet 到您的应用：

<dependencies>
    <dependency>
        <groupId>com.hazelcast.jet</groupId>
        <artifactId>hazelcast-jet</artifactId>
        <version>4.2</version>
    </dependency>
</dependencies>

示例代码

以下是一个简单的 Hazelcast Jet 应用，它读取本地文件，计算每个单词的出现次数，并将结果输出到控制台：

JetInstance jet = Jet.bootstrappedInstance();
Pipeline p = Pipeline.create();
p.readFrom(Sources.files("/path/to/text-files"))
 .flatMap(line -> traverseArray(line.toLowerCase().split("\\W+")))
 .filter(word -> !word.isEmpty())
 .groupingKey(word -> word)
 .aggregate(counting())
 .writeTo(Sinks.logger());

jet.newJob(p).join();

构建项目

要从源代码构建项目，使用以下命令：

./mvnw clean package -DskipTests

3. 应用案例和最佳实践

以下是一些使用 Hazelcast Jet 的典型应用案例和最佳实践：

• 低延迟的状态流处理：例如，处理来自 100,000 设备的 100 Hz 传感器数据，并在 10 毫秒内发送校正反馈。
• 高吞吐量的大状态流处理：例如，追踪数百万用户的 GPS 位置，推断他们的速度向量。
• 批处理大数据量：例如，分析一天的股票交易数据来更新给定投资组合的风险敞口。

4. 典型生态项目

Hazelcast Jet 支持与多种数据源和接收器的集成，包括但不限于以下项目：

• Apache Kafka
• 本地文件（文本、Avro、JSON）
• Apache Hadoop（Azure Data Lake、S3、GCS）
• Apache Pulsar
• Debezium
• Elasticsearch
• JDBC
• JMS
• InfluxDB
• Hazelcast
• Redis
• MongoDB
• Twitter

通过上述介绍，您可以对 Hazelcast Jet 有一个基本的了解，并开始构建您的分布式数据流处理应用。

hazelcast-jet Distributed Stream and Batch Processing 项目地址: https://gitcode.com/gh_mirrors/ha/hazelcast-jet