1、index、type的初衷
之前es将index、type类比于关系型数据库(例如mysql)中database、table,这么考虑的目的是“方便管理数据之间的关系”。
2、为什么现在要移除type?
2.1 在关系型数据库中table是独立的(独立存储),但es中同一个index中不同type是存储在同一个索引中的(lucene的索引文件),因此不同type中相同名字的字段的定义(mapping)必须一致。
2.2 不同类型的“记录”存储在同一个index中,会影响lucene的压缩性能。
3、替换策略
3.1 一个index只存储一种类型的“记录”
这种方案的优点:
a)lucene索引中数据比较整齐(相对于稀疏),利于lucene进行压缩。
b)文本相关性打分更加精确(tf、idf,考虑idf中命中文档总数)
3.2 用一个字段来存储type
如果有很多规模比较小的数据表需要建立索引,可以考虑放到同一个index中,每条记录添加一个type字段进行区分。
这种方案的优点:
a)es集群对分片数量有限制,这种方案可以减少index的数量。
4、迁移方案
之前一个index上有多个type,如何迁移到3.1、3.2方案?
4.1 先针对实际情况创建新的index,[3.1方案]有多少个type就需要创建多少个新的index,[3.2方案]只需要创建一个新的index。
4.2 调用_reindex将之前index上的数据同步到新的索引上。
本文探讨了Elasticsearch中移除type机制的原因及替代方案。原先type机制旨在模仿关系型数据库中的table,但发现这影响了Lucene的压缩性能,并导致不同type间字段定义必须一致的问题。文章提出了两种替换策略:一是每个index只存储单一类型的记录;二是使用字段区分不同类型。同时给出了具体的迁移步骤。
1623

被折叠的 条评论
为什么被折叠?



