Hazelcast IMDG&Jet详解

原创 已于 2022-03-30 16:20:29 修改 · 879 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#实时大数据 #内存数据库

于 2021-12-20 19:16:52 首次发布
本文详细介绍了Hazelcast的分布式内存网格及其流式数据处理引擎Jet的功能特性。不仅覆盖了Hazelcast作为内存数据库的应用场景，还深入探讨了Jet的流式处理流程、内部原理、处理器使用、聚合操作及分布式计算的一致性保障机制。

前言

Hazelcast已经有十多年的发展历史了，是基于Java的分布式内存网格IMDG，对标Redis；后来又引入了流式数据处理引擎Jet，对标Flink。因此从Hazelcast软件功能来说，它是相当全面的，既可以实时/跑批，又可以存储和计算，因此源码结构也很复杂。
官网文档

一、Hazelcast本地安装

二、Hazelcast IMDG内存数据库

三、Hazelcast Jet流计算引擎详解

1. Jet Pipeline - 官方推荐的流式处理入口

Pipeline详解

2. Jet DAG - Jet流式引擎内部原理详解

DAG原理详解

3. Jet Processors - Jet流式处理之处理器

Hazelcast Jet 内置 Processors详解

4. Jet Aggregate - Jet流式聚合详解

Hazelcast Jet Aggregate详解

5. Jet 分布式计算一致性详解

Hazelcast Jet Chandy-Lamport

6. Jet的线程间协作

Hazelcast Cooperative Multithreading

Hazelcast/Ignite：Java分布式内存数据网格（IMDG）的集群拓扑与一致性
weixin_41455464的博客
10-22 879
IMDG本质上是一个分布式集群，它将数据存储在集群节点的RAM中，而非传统的磁盘存储。这使得数据访问速度显著提升，非常适合对延迟敏感的应用，例如缓存、会话管理、实时分析和高速事务处理。Hazelcast和Ignite是两个流行的开源IMDG解决方案，它们都提供了丰富的功能集和易于使用的API。
Hazelcast Jet Pipeline详解
ouyangshixiong的专栏
12-31 2394
Hazelcast Jet Pipeline 详解
Hazelcast发布Jet 0.6版本
啊啊啊啊2
05-01 323
\u0026#xD;\n看新闻很累？看技术新闻更累？试试下载InfoQ手机客户端，每天上下班路上听新闻，有趣还有料！\u0026#xD;\n\u0026#xD;\n\u0026#xD;\n分布式计算技术和工具开发商Hazelcast正式发布了他们的开源流式处理引擎Jet 0.6。\u0026#xD;\n\u0026#xD;\nJet自2017年2月起就已可用，而0.6是Hazelcast版本方案的...
Hazelcast发布开源流处理引擎Jet
啊啊啊啊2
02-14 551
Hazelcast主要以开源缓存和内存数据网格技术（通常称为Hazelcast IMDG，或者只是Hazelcast）为人所熟知。然而过去的两年中，他们一直致力于一个新的、重要的开源项目Hazelcast Jet，近日，他们宣布了这项新技术的一个主要版本。\u0026#xD;\n\u0026#xD;\nInfoQ与Hazelcast首席执行官Greg Luck和Jet核心团队工程师Marko To...
Hazelcast Jet DAG原理
ouyangshixiong的专栏
12-31 814
Hazelcast Jet 内置DAG原理详解
Hazelcast Jet 之Chandy-Lamport
ouyangshixiong的专栏
01-25 1754
Hazelcast Jet 分布式一致性
基于 Hazelcast 的分布式数据处理引擎 Hazelcast Jet
jiangbb8686的博客
10-11 1522
Hazelcast Jet 是一个分布式计算平台，专为高性能流处理和快速批处理而构建。它在内存数据网格（IMDG）中嵌入Hazelcast，以提供轻量级的处理器包和可扩展的内存存储。 特性： 低延迟和分布式的通用数据处理框架，具有高吞吐量 高并行和分布式的数据流和批处理 分布式 java.util.stream API 支持 Hazelcast 数据结构，如 IMap...
hazelcast-nodejs-client:Hazelcast IMDG Node.js客户端
03-26
Hazelcast Node.js客户端是一种与Hazelcast IMDG群集进行通信并访问群集数据的方法。 客户端提供了基于Promise的API，并内置了对本机JavaScript对象的支持。 安装 淡褐色 Hazelcast Node.js客户端需要运行的...
hazelcast-python-client:Hazelcast IMDG Python客户端
03-25
Hazelcast Python客户端是一种与Hazelcast IMDG群集进行通信并访问群集数据的方法。 客户端提供了适用于各种用例的基于Future的异步API。 安装 淡褐色 Hazelcast Python客户端需要运行的Hazelcast IMDG集群才能运行...
hazelcast-csharp-client：Hazelcast IMDG .NET客户端
02-04
Hazelcast .NET客户端 Hazelcast .NET为Microsoft .NET生态系统带来了高性能内存中计算平台的全部功能。 使您能够以高读取速度弹性扩展.NET缓存，以访问所有Hazelcast数据结构，例如分布式地图，队列，主题等。 全部...
Hazelcast IMDG性能优化：实现实时缓存层的最佳实践
资源摘要信息:"本文档详细介绍了Hazelcast IMDG在实时缓存层的性能调优方法和实践。首先，文档以引言的方式介绍了背景、问题和文章结构。接着，文档概述了Hazelcast IMDG的基本概念、主要特性和核心组件，包括分布式...
hazelcast-jet-contrib:Hazelcast Jet 的扩展模块
05-29
Hazelcast-jet-贡献 该存储库包括各种社区支持和孵化模块。 作为一般准则，此存储库中鼓励使用以下类型的模块： 各种连接器，包括源和接收器 。 可能与其他系统集成。 自定义。 这些应该足够通用，可以在其他管道...
hazelcast-jet：分布式流和批处理
02-03
什么是喷气机 是一个开源的，内存中的，分布式批处理和流处理引擎。 您可以使用它来处理大量的实时事件或大量的静态数据集。 为了提供一种规模感，Jet的单个节点已被证明可而延迟小于10毫秒。 它提供了Java API，可通过使用来构建流和批处理应用。 将应用程序部署到Jet群集后，Jet将自动使用群集上的所有计算资源来运行您的应用程序。 如果在应用程序运行时将更多节点添加到群集，Jet会自动扩展应用程序以在新节点上运行。 如果您从群集中删除节点，它将无缝地对其进行缩减，而不会丢失当前的计算状态，从而提供保证。 例如，您可以表示经典的单词计数问题，该问题使用以下API读取一些本地文件并将每个单
Eclipse 项目有一个称为 JET 的技术项目就是一个专门的代码生成器
12-09
包含了下面文章的例子：使用 JET 在 Eclipse 中创建更多更好的代码（http://www.ibm.com/developerworks/cn/opensource/os-ecl-jet/）
Hazelcast Jet 应用演示：引领实时大数据处理的新风尚
最新发布
gitblog_00050的博客
06-17 546
Hazelcast Jet 应用演示：引领实时大数据处理的新风尚 去发现同类优质开源项目:https://gitcode.com/ 在这个数据密集型的世界中，高效、实时地处理和分析数据变得至关重要。Hazelcast Jet 是一款强大的分布式计算引擎，它的出现让实时大数据处理变得更加简单易行。这个开源项目不仅包含了多个演示应用，还展示了如何利用 Jet 解决实际问题。让我们一起探索 Hazelc...
Hazelcast Jet Processor
ouyangshixiong的专栏
12-30 620
Hazelcast Jet 内置的Processors详解
hazelcast入门教程_Hazelcast入门
最佳 Java 编程
06-10 1678
hazelcast入门教程 7月，我写了一个博客向Java开发人员介绍erlang，重点介绍了这两种语言之间的一些异同。 erlang虚拟机具有许多令人印象深刻的内置功能，其中之一是它们独立于位置且可以相互通信。 这意味着可以通过编写很少的代码行在VM之间同步数据。 如果您有一个网络集群的服务器都在做相同的事情，这真是个好消息。 您可能会争辩说，即使JVM无法执行最基本的进程间通信，也可能...
Hazelcast Jet 聚合(Aggregate)
ouyangshixiong的专栏
01-13 874
Hazelcast Jet 聚合算子详解
Hazelcast搭建教程
Trend的博客
07-02 5832
本文采用maven来开发管理。 1、在maven的pom.xml中添加依耐： com.hazelcast hazelcast 3.5.4 ——如果你的Eclipse下载不到这个jar，就手动去官网下载（或者：http://mvnrepository.com/artifact/com.hazelcast），然后放到本地仓库中即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值