分布式 | MyCat如何迁移到DBLE之分片算法对比解析：numberrange分片

关于作者
钟 悦 - 资深DBLE用户
某宇宙行资深架构师，在大型重点项目中使用 DBLE。
常年与 MySQL 纠缠不清，经常运用技术处理大企业病的技术or非技术问题的一个挨踢从业者。​

根据用户定义的范围与分片节点映射文件，直接定位目标分片。

• 用户在 rule.xml 中配置范围定义文件路径，文件中定义的各个范围被加载到内存中，形成一个映射表
• 在 DBLE 的运行过程中，用户访问使用这个算法的表时，WHERE 子句中的分片索引值会被提取出来，直接查映射表得到分片编号

---

• 与MyCat的类似分片算法对比

  中间件	DBLE	MyCat
  分片算法种类	numberrange 分区算法	范围约定
  区别	写具体的数值	可用K或M等数量替换付

  • K=1000 , M=10000

---

• 开发注意点

  • 【分片索引】1. 整型数字（可以为负数），取值范围是长整型
  • 【分片索引】2. 范围包含其起点和终点，例如，范围 1-100 包含 1 和 100（即 [1, 100]）
  • 【分片索引】3. 如果范围与范围之间存在重叠（例如 1-100 和 100-200 重叠于 100），不会引起异常，会命中在范围配置文件mapFile中最先出现的那一个并按其执行
  • 【分片索引】4. 不同范围可以映射到同一个分片上

0 - 99 = 0
100 - 199 = 0

• 【数据分布】1. 无法保证均匀
• 【数据分布】2. 总分数量等于范围配置文件 mapFile 中各范围持有的分片数量之和

---

• 运维注意点

  • 【扩容】1，原有范围（含默认节点）的数据太热，需要拆分成多个新的更小的范围来扩展到不同MySQL节点时，需要对局部数据进行迁移
  • 【缩容】1，原有的几个范围的数据太冷，需要合并到同一个 MySQL 节点来节省资源时，需要对局部数据进行迁移

---

• 配置注意点

  • 【配置项】1. 在 rule.xml 中，可配置项为 <property name="defaultNode"> 和 <property name="mapFile">

  • 【配置项】2. 在 rule.xml 中配置 <property name="defaultNode"> 标签，非必须配置项，不配置该项的话，用户的分片索引值没落在 mapFile 定义的范围时，DBLE 会报错；若需要配置，必须为非负整数，用户的分片索引值没落在 mapFile 定义的范围时，DBLE 会路由至这个值的 MySQL 分片

  • 【配置项】3. 在 rule.xml 中配置 <property name="mapFile"> 标签，范围映射文件的路径：若在映射文件在 DBLE_HOME/conf 或其中，则可以使用相对路径的形式配置，例如，映射文件是 DBLE_HOME/conf/map/table_map.txt 时，配置值就可以简写为 map/table_map.txt；映射文件在 DBLE_HOME/conf 目录以外时，需要使用绝对路径，但这种做法需要考虑用户权限等问题，因此不建议把映射文件放在 DBLE_HOME/conf 外。

  • 【配置项】4. 编辑 mapFile 所配置的文件

    记录格式为：<范围最小值> - <范围最大值> = <分片编号>

    范围最小值和范围最大值必须是整型数字，取值范围为 Java 的长整型范围内，分片编号必须是非负整型数字，记录之间以换行分隔，一行仅能有一条记录，允许以 “//” 和 “#” 在行首来注释该行

  • 【配置项】5. 读取 mapFile 时，DBLE 不会对其中的范围记录查重或排序，也不会检查范围最小值和范围最大值相互之间谁更大

  • 【配置项】6. mapFile 中的记录的先后顺序非常重要，目前的最佳实践是人手确保范围与范围之间没有重叠，而且按照数据查询频率，从高频到低频来顺序填写 mapFile