Apache Ignite中的Peer Class Loading机制详解

Apache Ignite中的Peer Class Loading机制详解

ignite Apache Ignite 项目地址: https://gitcode.com/gh_mirrors/ignite16/ignite

概述

Peer Class Loading（对等类加载）是Apache Ignite提供的一项核心功能，它允许在分布式集群环境中自动将类定义从定义节点加载到使用节点。这项技术解决了分布式计算环境中代码部署的痛点问题，开发者不再需要手动在每个节点上部署Java代码，也无需在代码变更时重新部署。

工作原理

当启用Peer Class Loading后，系统会按照以下流程工作：

1. 远程节点首先检查本地类路径中是否已存在所需类
2. 如果不存在，则向原始节点发送类定义请求
3. 原始节点返回类的字节码
4. 工作节点加载这些类定义

这个过程每个类只会发生一次，一旦类被加载到节点上，后续使用就不需要再次加载。

适用场景

Peer Class Loading主要用于以下场景的类部署：

• 通过计算接口提交的任务和作业
• 缓存查询和连续查询中使用的转换器和过滤器
• 数据流处理器中使用的流转换器、接收器和访问器
• 入口处理器

使用建议

1. 类定义规范：建议将相关类定义为独立类或静态内部类，避免使用lambda表达式或匿名内部类。因为非静态内部类会与其封闭类一起序列化，可能导致序列化异常。

2. 第三方库处理：虽然Peer Class Loading可以传输类定义，但对于第三方库，建议将其预先部署到每个节点的类路径中（如放在{IGNITE_HOME}/libs目录下），避免每次传输大量类定义。

3. 生产环境安全：在生产环境中使用时，应确保只有授权客户端可以访问集群，因为此功能允许客户端向集群部署自定义代码。

配置方法

Peer Class Loading可以通过以下方式启用：

<bean class="org.apache.ignite.configuration.IgniteConfiguration">
    <property name="peerClassLoadingEnabled" value="true"/>
</bean>

或通过Java API：

IgniteConfiguration cfg = new IgniteConfiguration();
cfg.setPeerClassLoadingEnabled(true);

主要配置参数包括：

| 参数名 | 描述 | 默认值 | |--------|------|--------| | peerClassLoadingEnabled | 启用/禁用Peer Class Loading | false | | deploymentMode | 类加载模式 | SHARED | | peerClassLoadingExecutorService | 用于类加载的线程池 | null | | peerClassLoadingMissedResourcesCacheSize | 缺失资源缓存大小 | 100 |

类加载模式详解

Apache Ignite提供了三种类加载模式：

1. PRIVATE/ISOLATED模式

• 来自同一主节点的类在远程工作节点上共享相同的类加载器
• 不同主节点部署的任务在工作节点上不共享类加载器
• 适用于开发环境，允许不同开发者使用同一类的不同版本
• 主节点离开集群时，相关类会被卸载

2. SHARED模式（默认）

• 来自不同主节点但具有相同用户版本的类在工作节点上共享类加载器
• 所有主节点离开集群或用户版本变更时，类会被卸载
• 适合生产环境，允许来自不同主节点的类共享资源

3. CONTINUOUS模式

• 类不会因主节点离开而被卸载
• 只有用户版本变更时才会卸载类
• 允许工作节点上的任务重用资源实例（如连接池或缓存）
• 特别适合需要长期运行的生产环境

用户版本与卸载机制

类卸载行为与用户版本密切相关：

1. 用户版本控制：通过META-INF/ignite.xml文件中的userVersion配置
2. 卸载触发条件：
   • SHARED模式：所有主节点离开或用户版本变更
   • CONTINUOUS模式：仅用户版本变更
   • PRIVATE/ISOLATED模式：主节点离开

示例ignite.xml配置：

<bean id="userVersion" class="java.lang.String">
    <constructor-arg value="0"/>
</bean>

最佳实践

1. 生产环境推荐使用SHARED或CONTINUOUS模式
2. 开发环境可以使用ISOLATED模式方便多版本测试
3. 关键业务类建议显式定义用户版本
4. 大型第三方库应预先部署而非通过Peer Class Loading传输
5. 注意监控类加载性能，适当调整线程池配置

通过合理使用Peer Class Loading，开发者可以大幅简化Apache Ignite集群中的代码部署和管理工作，提高开发效率和系统灵活性。

ignite Apache Ignite 项目地址: https://gitcode.com/gh_mirrors/ignite16/ignite