Apache Ignite中的亲和性并置(Data Affinity Collocation)原理与实践-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00026/article/details/148524422

Apache Ignite中的亲和性并置(Data Affinity Collocation)原理与实践

ignite Apache Ignite 项目地址: https://gitcode.com/gh_mirrors/ignite16/ignite

什么是亲和性并置

在分布式系统中，数据如何分布直接影响查询性能。Apache Ignite提供的亲和性并置(Affinity Colocation)是一种智能数据分布策略，它确保相关联的数据存储在同一个节点上。这种机制特别适合处理具有父子关系或频繁共同访问的数据。

举个现实例子：假设一个公司管理系统中有Person(员工)和Company(公司)两类数据。传统分布式系统可能将公司和员工随机分布在不同节点，而使用亲和性并置后，同一公司的所有员工数据会与公司数据存储在相同节点上。

为什么需要亲和性并置

减少网络传输：相关数据在同一节点，查询无需跨节点获取
提升事务性能：同一事务涉及的数据在同一节点，避免分布式事务开销
优化计算效率：计算任务可与数据并置，减少数据移动
提高缓存命中率：相关数据集中存储，提高本地缓存利用率

核心实现机制

Ignite通过分区键(Affinity Key)控制数据分布，其工作原理如下：

每个缓存条目根据分区键值被分配到特定分区
相同分区键值的不同缓存条目会被分配到相同节点
分区到节点的映射由一致性哈希算法决定

三种配置方式详解

1. 使用@AffinityKeyMapped注解

这是最灵活的配置方式，通过在自定义键类中标记亲和键字段：

public class PersonKey {
    private int personId;  // 主键
    
    @AffinityKeyMapped
    private String companyId;  // 亲和键
    
    // 构造方法、getter/setter省略
}

2. 通过CacheKeyConfiguration配置

适用于无法修改键类的情况：

CacheConfiguration<PersonKey, Person> personCfg = new CacheConfiguration<>();
personCfg.setName("PersonCache");

CacheKeyConfiguration keyCfg = new CacheKeyConfiguration();
keyCfg.setTypeName(PersonKey.class.getName());
keyCfg.setAffinityKeyFieldName("companyId");  // 指定亲和键字段

personCfg.setKeyConfiguration(keyCfg);

3. 使用内置AffinityKey类

Ignite提供了开箱即用的解决方案：

// 使用AffinityKey包装原始键和亲和键
AffinityKey<Integer> key = new AffinityKey<>(personId, companyId);

SQL模式下的配置

通过CREATE TABLE语句直接指定亲和键：

CREATE TABLE Person (
  id INT,
  city_id INT,
  name VARCHAR,
  company_id VARCHAR,
  PRIMARY KEY (id, city_id)
) WITH "template=partitioned,affinity_key=company_id";