学习笔记——搞懂FST数据结构

原创 已于 2022-06-19 17:45:18 修改 · 8.4k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #数据结构 #elasticsearch #java

于 2022-06-19 17:43:40 首次发布
本文深入解析了FST（Finite State Transducer）数据结构，介绍了其查询过程、Lucene源码中的实现细节，包括Builder类和BlockTreeTermsWriter，以及FST在存储（TermIndex和TermDictionary）和构建过程中的关键概念。通过图解展示了节点添加和FST字符串读取的步骤。

目录

数据结构FST简述

FST简述及它的查询过程

从Lucence源码中看FST的结构

查看builder类(package org.apache.lucene.util.fst)

查看BlockTreeTermsWriter类(packageorg.apache.lucene.codecs.blocktree)

FST存储到文件中的存储结构(TermIndex词项索引和TermDictionary词项字典)

FST构建(读取和写入数据)

通过图解一步步搞清楚结点的添加过程。

读取FST的字符串.

首先声明图片数据来源:b站马士兵教育。

luncence源码百度云:

链接：https://pan.baidu.com/s/12EQtJ_t-P3-P_CJnHIfnEw 
提取码：abcd

数据结构FST简述

了解一下trie前缀树：复用所有前缀



FSM(Finite State Machines)有限状态机: 表示有限个状态集合以及这些状态之间转移和动作的数学模型。其中一个状态被标记为开始状态，0个或更多的状态被标记为final状态

FSA：有限状态接收机


确定性:在任何给定状态下，对于任何输入，最多只能遍历一个transtion
非循环:不可能重复遍历同一个状态
Final唯一性:当且仅当有限状态机在输入序列的末尾处于最终状态时，才接受特定的输入序列
以上例子，如果输入‘wl’会怎样？其实就是可以搜索到的了。因为l指向的节点3已经是final节点了。为解决这样的问题，引出FST

FST简述及它的查询过程

FST:有限状态转化机
FST最重要的功能是可以实现key到value的映射，相当于HashMap<K,V>。FST的查询速度比hashMap慢一点，但是内存消耗比hashMap小很多。FST在lucene大量使用:倒排索引的存储，同义词词典的存储，搜索关键字建议等等。
对于es来说，它是基于lucence开发，底层的数据结构使用的就是fst,它的主要优点:

  1. 查询快
  2. 极致压缩空间占用
    特性:
    确定性:在任何给定状态下，对于任何输入，最多只能遍历一个transtion
    非循环:不可能重复遍历同一个状态
    transducer: 转化器有相关的值(payload),final节点会输出一个值
    比起前面的前缀树以及FSA，在存储的时候多了一个value值。
    考虑以下输入字符:







    此时，再输入wl试试？尽管节点3是final节点,但是由于值对不上，所以不会搜索成功的。

从Lucence源码中看FST的结构

查看builder类(package org.apache.lucene.util.fst)



节点模型:node

考虑需要输入这样一组数据

由于按照字典序排序，输入abd的时候，由于此时系统不知道后面是否还存在abde,abdc类似的数据，所以此时输入的abd就是unCompliledNode

当输入abe的时候，已经可以确定后面不会有abd这些数据了(字典序),但是无法确定ab前缀还是否存在,直到输入ac为止才确认不会有ab前缀了。此时字符’d’被移除出frontier数组，把它冻结起来 -freezeTail
 

描述边，也就是出度的类是Arc


label:存放那个输入的字符作为Key
output:存放对应的值也就是Value
target:简单理解为存放偏移量,如果arc描述的字符不是最后一个字符的时候，就会有这么一个偏移量。
flags:其实就是起始值，通过位运算(通用最小化算法)得来.

查看BlockTreeTermsWriter类(packageorg.apache.lucene.codecs.blocktree)

PendingEntry—PendingBlock --PendingTerm
通过输入的字符，一般的是Term，满足某种条件则会被聚合成Block



Block——根据给的阈值(min24,max48)划分成Block或者Term
简单理解:若是子节点少于24，则仍然为单独的PedingTerm,若是大于等于24，则会被聚合成一个PendingBlock.如果这个PendingBlock大于48，则会被分成多个FloorBlock

通过构建过程来理解:
1.输入abd,abe，此时还都是正常的情况。(abd和abe都是term)

2.输入abfi,abfj,abfk，此时可以看到f已经有三个出度k I j了，初步满足聚合成Block的条件

此时还都是term,没有聚合成block,虽然已经满足了条件给出的3个。但是由于输入项还没确定完.所以还不能聚合起来。

3输入abgl---->聚合成Block
由于此时已经确定f已经不会做修改了，此时由于f有三个出度，所以I j k可以聚合成pedingBlock


4.继续输入abgm,abgn,abgo,abgp,abgp,abgq,abgr。此时g已经有七个出度了！！但是没有聚合成Block


等到结束g出度的输入的时候，才会发生聚合block
5.输入abh,此时聚合成g的block,它底下还有两个floorblock
 

FST存储到文件中的存储结构(TermIndex词项索引和TermDictionary词项字典)

.tip: 存放Term-Index

.tim:存放Term-Dictonary

Term-index里面存放的FSTindex存放Block的前缀记录，末尾指向block..这些block具体存放在.tim文件也就是term Dictonary里面。

block具体存放的是啥?

 

BlockHeader:

Suffix:

states:

metaLength:

再来看看FST-Index和block更详细的内容

 

以这样一个词项字典

还是这张图

构建FST-Index

其中flag是标志位，代表着一个block的开始.

最低0.47元/天 解锁文章
【数据结构与算法】FST 有穷状态转换器详解：Finite State Transducers & 算法核心思想和代码实现（Golang语言）
AI天才研究院
03-21 2万+
Finite State Transducers 简称 FST， 中文名：有穷状态转换器。FST 是一种类似于Trie 或自动机的数据结构。FST 可以表示成FST<Key, Value>的形式，我们可以用O(length(key))的复杂度，找到key所对应的值。除此之外，FST 还支持用Value来查找key以及查找Value最优的key等功能。在查找最优的Value时，会用到求最短路径的Dijikstra算法,但建图过程与此无关。
有限状态转换器（FST）在大数据中的应用
TechWhiz的博客
08-31 410
FST通常用于实现自动机理论中的有限状态自动机（Finite State Automaton，FSA）和有限状态转ducer（Finite State Transducer，FST）。FST有两种基本类型：确定性FST（Deterministic FST）和非确定性FST（Non-deterministic FST）。确定性FST在给定输入时只有一个可能的转换路径，而非确定性FST可能有多个可能的转换路径。有限状态转换器（FST）是一种用于处理和分析序列数据的强大工具，在大数据领域具有广泛的应用。
Lucene中的FST算法描述
05-21
描述了Lucene中如何使用FST算法构建term的内存索引，使用了很多图，直观的展现了FST图的构建流程，能够对想了解lucene内部实现机制原理的同学有帮助。
FST的底层构建原理
2401_89221704的博客
07-21 1140
在实际应用中，字符串都是按照字母顺序依次处理的，上一次的字符串是abd，下一个字符串可能是abdm，再下一个字符串可能是abdn，这都会导致Sd这个节点的变化。FST全程是Finite State Transducers，是一个带输出的有限状态机，看过前面有限状态机规则的可以知道，有限状态机逻辑上来讲就是一颗树，就像图3-71中的那棵树，从初始状态输入字符a到达状态a，输入字符b到达状态b，输入字符d到达状态d，不同的是状态d有输出，所谓的输出就是一个指针，指向tim文件中的位置。
从分布式系统设计看Elasticsearch集群及数据结构
千丈之松的专栏
08-04 1968
一： 概述 es本质上就是由分布式思想+lucene组合而成，因为lucene的存在，它比一般的分布式系统会稍微复杂一点，es采取的分布式思想是分片+副本+去中心化。 es持久化的方式是：副本索引文件+translog文件，es默认配置下，为了比较好的速度，选择了性能，是可能丢数据的（5s）。redis aof是1s。和redis一样，在性能和可靠性中选择，如果选择直接写入磁盘，es写性能会损...
Elasticsearch性能优化-移除FST堆内存
liaoyanyunde的博客
07-02 2071
单节点es能存储和处理的数据量主要受3方面限制：cpu、内存、磁盘 es是java程序，内存受限于JVM的堆内存打下，给es进程的堆内存又不能超过32G（受限于指针压缩，超过32g指针压缩失败，内存浪费）。 所有堆内存大小的限制是es处理能力的主要限制 分析es堆内存，发现es堆内存使用占比最多的是FST。 何为FST呢？ FST是倒排索引的缓存前缀索引。 倒排索引以分词后的词为主键进行组织，每个词后面对应的都是存在该关键字的文档id，term查询首先就是找到词，然后再根据文档id找到文档记录。如果我们每次
字典数据结构 FST(Finite State Transducer)
alexgaoyihang的专栏
04-08 1557
有限状态自动机（Finite State Transducer，FST）是一种常见的字典数据结构，常用于NLP中。它可以表示一组字符串集合，并提供一种有效的方法来在这些字符串上执行查询操作。FST 可以用于多种不同的任务，包括词形变化、拼写纠正、文本匹配和词义消歧等。
lucene字典实现原理
weixin_30517001的博客
11-24 506
http://www.cnblogs.com/LBSer/p/4119841.html 1 lucene字典 使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的字典功能。 怎么实现一个字典呢？我们马上想到排序数组，即...
动漫风格迁移 I2I 论文阅读笔记——Learning to Cartoonize Using White-box Cartoon Representation
qq_26136211的博客
04-03 1066
Learning to Cartooniza Using White-box Cartoon Representation 论文阅读 发表于CV2020。 介绍 由于动画风格多样，且需求多元，所以实用的动漫风格迁移算法需要以特定假设为前提。比如，一些动画制作流程更关注全局调色板主题（global palette theme），而不是线条的清晰度。从而导致黑箱模型没法应对各种多样的需求（简单的改变数据集不能解决问题）。 为了解决上述问题，我们将图片分解成几个动画表达形式： 首先，我们提取了surface表达
【图像融合学习笔记001】图像融合论文及代码网址整理总结（1）——多聚焦图像融合
EE_LegendNing ： 我于杀戮之中绽放，亦如黎明中的花朵
05-21 4643
写在前面的话： 本篇博文主要整理汇总一下现有的多聚焦图像融合算法（文章和代码）。适当地，也会整理出相关作者的学术主页。整理这些的初衷，是为了方便自己，顺便也给同领域的研究者在找代码等方面提供些许便利。另外，该领域的文章很多，本篇博文也只是整理了其中的一部分，并且，本人不会对论文内容做过多评论。 【2019】 1、文章：Multi-focus image fusion using deep su...
【图像去噪】论文精读：Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Train
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-11 557
请先看【专栏介绍文章】：【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）论文题目：Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training —— 学习通过像素级噪声感知对抗训练生成逼真的噪声图像论文地址：Learning to Ge
Racket 学习笔记
weixin_43315794的博客
04-17 2279
Prologue: How to Program 前奏： 怎样编程 好的编程不仅仅是学习一门语言的机制。**最重要的是，要记住，程序员创建程序是为了让其他人将来阅读。**一个好的程序反映问题陈述及其重要概念。它有一个简洁的自我描述。简而言之，好的编程就是系统地解决问题，并在代码中传达系统。最重要的是，这种编程方法实际上使每个人都能访问编程—因此它可以共享的（使每个人都看得懂） 这门程序课经审核与K2的高中生又适合于大学一年级的新生。 对于大一新生，前奏：怎样编程（Prologue）我们建议通过cr
每日学习一个数据结构-FST数据结构与算法
wendao76的专栏
09-18 1308
定义：FST是一种有限状态机（FSM）的扩展，它不仅表示状态之间的转换，还能够在转换过程中携带额外的信息（即输出或值）。特性：确定性：在任何给定状态下，对于任何输入，最多只能遍历一个转换。非循环：不可能重复遍历同一个状态。转化器：具有相关的值（payload），final节点会输出一个值。FST是一种高效的数据结构，它通过复用前缀和后缀来压缩存储空间，并通过确定性的状态转换来加速查询过程。
常见索引结构—FST
sanmi8276的博客
01-22 3578
原文作者：sbp810050504 原文地址：lucene (42)源代码学习之FST(Finite State Transducer)在SynonymFilter中的实现思想 在Lucene4中，很重要的一种数据结构就是FST(Finite State Transducer),又称Mealy Machine。在SynonymFilter的实现中，FST可以用HashMap代替。但是相比HashMap，FST有以下优点： 紧凑的结构，通过对词典中单词前缀和后缀的重复利用，压缩了存储空间。 O(l.
lucene底层数据结构——FST，针对field使用列存储，delta encode压缩doc ids数组，LZ4压缩算法...
djph26741的博客
12-27 927
参考： http://www.slideshare.net/lucenerevolution/what-is-inaluceneagrandfinal http://www.slideshare.net/jpountz/how-does-lucene-store-your-data http://www.infoq.com/cn/articles/database-timestam...
Finite State Transducers 详解
热门推荐
无敌三脚猫的专栏
01-14 1万+
一、 简介       Finite State Transducers 简称 FST， 中文名：有穷状态转换器。在自然语言处理等领域有很大应用，其功能类似于字典的功能（STL 中的map，C# 中的Dictionary），但其查找是O（1）的，仅仅等于所查找的key长度。目前Lucene4.0在查找Term时就用到了该算法来确定此Term在字典中的位置。       FST 可以
Lucene核心数据结构——FST存词典，跳表存倒排或者roarning bitmap 见另外一个文章...
djph26741的博客
02-13 486
Lucene实现倒排表没有使用bitmap，为了效率，lucene使用了一些策略，具体如下：1. 使用FST保存词典，FST可以实现快速的Seek，这种结构在当查询可以表达成自动机时(PrefixQuery、FuzzyQuery、RegexpQuery等)效率很高。(可以理解成自动机取交集)此种场景主要用在对Query进行rewrite的时候。2. FST可以表达出Term倒排表所在的文...
FST
m0_37039331的博客
12-14 2827
FST： Finite State Transducers 有穷状态转换器 对于经典FST算法来说，要求Key必须按字典序从小到大加入到FST中， 原因主要是因为在处理大数据的情况下，我们不可能把整个FST数据结构都同时放在内存中， 而是要边建图边将建好的图存储在外部文件中，以便节省内存。 ...
FST(Finite State Transducer)
xy2006860的专栏
08-22 2423
有限状态转换器（Finite State Transducer，简称FST）是一种计算模型，它是有限状态自动机（Finite State Automaton，简称FSA）的扩展。FSA是一种理论计算模型，用于表示和处理正则语言，它包含一组状态和在这些状态之间的转换，通常用于模式匹配、文本搜索等任务。与FSA不同的是，FST不仅接受输入字符串，还能产生输出字符串，因此它可以用于建模输入和输出之间的关系，如字符串的转换和映射。
FST 数据结构
最新发布
07-30
### FST（有限状态转换器）的定义 FST（Finite State Transducer）是一种有限状态自动机，它不仅能够识别输入字符串，还能将输入字符串转换为输出字符串。FST由一组状态、输入符号集、输出符号集、转移函数和初始状态组成。每个状态转移不仅考虑输入符号，还产生一个输出符号。这种特性使得FST非常适合用于需要输入输出映射的应用场景[^3]。 ### FST的工作原理 FST的核心原理是通过状态转移来处理输入序列并生成相应的输出序列。每个状态转移规则定义了在给定输入符号的情况下，如何从一个状态转移到另一个状态，并且生成一个输出符号。FST可以被视为一种扩展的有限状态自动机，其中每个转移不仅有一个输入标签，还有一个输出标签。这种结构允许FST在处理输入的同时生成输出，从而实现复杂的转换功能。 在实际应用中，FST通常用于处理文本数据，例如在自然语言处理中进行词形变化、拼写检查、机器翻译等任务。FST的强大之处在于它可以高效地处理大量的输入输出映射关系，并且能够在内存中紧凑地存储这些映射关系[^1]。 ### FST的使用场景 1. **信息检索**：FST被广泛应用于搜索引擎中，用于构建词典（Term Dictionary），支持高效的前缀查询、范围查询等操作。例如，Lucene使用FST来存储索引中的术语，从而提高查询效率[^2]。 2. **自然语言处理**：在NLP领域，FST用于处理复杂的文法规则，如词形变化、拼写检查、语音识别等。FST能够高效地处理这些任务，因为它可以通过有限状态自动机来表示和处理文法规则[^3]。 3. **机器翻译**：FST可以用于构建翻译模型，将一种语言的句子转换为另一种语言的句子。这种方法在早期的机器翻译系统中得到了广泛应用[^3]。 4. **数据压缩**：FST可以用于数据压缩算法中，通过将重复的模式映射到更短的表示形式，从而减少存储空间和传输成本。 5. **生物信息学**：在生物信息学中，FST用于处理DNA序列、蛋白质序列等生物数据，支持高效的序列比对和模式识别[^3]。 ### 示例代码 以下是一个使用Lucene库构建FST的简单示例： ```java import org.apache.lucene.util.fst.*; import org.apache.lucene.util.BytesRef; import org.apache.lucene.util.IntsRef; public class FSTExample { public static void main(String[] args) throws Exception { String inputValues[] = {"cat", "deep", "do", "dog", "dogs"}; long outputValues[] = {5, 7, 17, 18, 21};
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值