Kaldi学习笔记 -- 构建字典FST脚本 -- prepare_lang.sh 关键内容解析

最新推荐文章于 2024-04-08 09:25:55 发布
原创 最新推荐文章于 2024-04-08 09:25:55 发布 · 7.5k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kaldi #语音识别 #机器学习

摘要：本文介绍了Kaldi训练过程中数据准备部分 如何通过字典构造其FST模型。摘取其中较难理解的部分，此为自我见解，欢迎纠正。

1
2
3
4
5
6
7

kaldi的prepare_data.sh模块解读
Drop_past的博客
08-28 1089
#!/bin/bash # # Copyright 2017 Johns Hopkins University (Author: Shinji Watanabe, Yenda Trmal) # Apache 2.0 # Begin configuration section. mictype=worn # worn, ref or others cleanup=true # End con...
kaldi的prepare_dict.sh解读
Drop_past的博客
09-04 910
#!/bin/bash # Copyright (c) 2018, Johns Hopkins University (Jan "Yenda" Trmal<jtrmal@gmail.com>) # License: Apache 2.0 # Begin configuration section. # End configuration section . ./utils/pars...
字典数据结构 FST(Finite State Transducer)
alexgaoyihang的专栏
04-08 1444
有限状态自动机（Finite State Transducer，FST）是一种常见的字典数据结构，常用于NLP中。它可以表示一组字符串集合，并提供一种有效的方法来在这些字符串上执行查询操作。FST 可以用于多种不同的任务，包括词形变化、拼写纠正、文本匹配和词义消歧等。
kaldi 发音字典生成
wyw0000的博客
12-10 3697
kaldi发音字典生存
kaldi的源码（一）：关于prepare_lang的L.fst的个人理解
weixin_45699180的博客
02-13 1755
kaldi的prepare_lang和lang文件讲解
百万数据毫秒处理---lucene字典数据结构-FST
u010797364的博客
01-12 950
FST fast-serialization 是重新实现的 Java 快速对象序列化的开发包。序列化速度更快（2-10倍）、体积更小，而且兼容 JDK 原生的序列化。要求 JDK 1.7 支持。 Maven： 1 <dependency> 2 <groupId>de.ruedigermoeller</groupId> 3 <artifactId>fst</artifactId> 4 <version>1.36&l
Elasticsearch索引原理
跨语言，跨平台，跨应用
06-25 895
Elasticsearch索引原理 Elasticsearch最关键的就是提供强大的索引能力了。 Elasticsearch索引的精髓：一切设计都是为了提高搜索的性能。 另一层意思：为了提高搜索的性能，难免会牺牲某些其他方面，比如插入/更新，否则其他数据库不用混了。 PUT /megacorp/employee/1 { "name" : "John", "sex" : ...
kaldi-master.zip_GMM-HMM_HMM GMM_Kaldi-master-_balanceecd_yeth82
09-24
例如，"kaldi-master.zip"中的代码可能包含了数据预处理脚本，用于提取MFCC（梅尔频率倒谱系数）或其他语音特征；模型训练部分可能使用了EM算法进行参数估计；解码阶段则可能利用Viterbi算法寻找最可能的识别路径。 ...
kaldi单音素模型训练 - train_mono.sh脚本解读
dhj_tsukuba的博客
10-16 1483
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 上下文无关的单音素模型，或者monophone模型，是声学模型中最基础的模型。用HMM建模时每个状态对应一个上下文无关的单音素，大多数kaldi的训练脚本run.sh都是从monophone模型的训练开始，重复几次训练-对齐的过程，最后用HMM-GMM模型的对齐结果作为label去训练DNN模型。 本文着重讲解一下steps/train_mono.sh脚本，
kaldi学习笔记 -- 训练单音素（monophone）模型脚本 -- steps/train_mono.sh
DuishengChen的专栏
09-18 1万+
#!/bin/bash # Copyright 2012 Johns Hopkins University (Author: Daniel Povey) # Apache 2.0 # To be run from .. # Flat start and monophone training, with delta-delta features. # This script applies ceps
FSTDict:C++ FST 字典库
06-10
FST字典 C++ FST 字典库
关于Lucene的词典FST深入剖析
Koikoi12的博客
09-16 1574
搜索引擎为什么能查询速度那么快？ 核心是在于如何快速的依据查询词快速的查找到所有的相关文档，这也是倒排索引（Inverted Index）的核心思想。那么如何设计一个快速的(常量，或者1)定位词典的数据结构就显得尤其重要。简单来说，我们可以采用HashMap， TRIE， Binary Search Tree， Tenary Search Tree等各种数据结构来实现。 那么开源的搜索引擎包Lucene是怎么来设计的呢？Lucene采用了一种称为FST（Finite State Transducer）的结构
FST结构 （解决Trie前缀树 后边不能复用的问题）
qq_52988841的博客
09-06 432
hashmap skip list Trie前缀树 FST。
深入搜索引擎原理
weixin_34112208的博客
05-15 472
2019独角兽企业重金招聘Python工程师标准>>> ...
fst 共享后缀_谈谈lucene中的FST
weixin_36251341的博客
01-14 651
FST是lucene中用来存储字典，并进行检索的核心数据结构，我记得在lucene3.0版本前都用的是跳跃链表(不清楚的同学以后我会专门写一篇磁盘索引技术来说清楚，网上也有相关资料)，实际上采用该数据结构的最大的好处是比跳跃链表更加节省存储空间，它的速度与跳跃链表相比如何具体没测过(但从理论上分析，fst本质上是个图结构，当查询一个词典时需要对图中节点进行解析，其中有大量的位运算并按路径进行搜索比...
倒排索引：ES倒排索引底层原理及FST算法的实现过程
热门推荐
Elastic开源社区
08-08 2万+
这也许是你全网你能找到的最详细的倒排索引的底层解读。博主把倒排索引的讲解划分为以下七个部分，理解难度递增，可根据自身需要选择依次阅读或者针对性阅读。通常来说，应付一般的面试，理解第一部分即可。如果需要面试搜索相关业务的岗位，需要深层次理解倒排索引，可根据自身情况选择阅读。本文花费了作者大量的精力来论证和整理，如果你喜欢作者的文章，请帮忙点个赞和关注吧 O(∩_∩)O ~。谢谢大家的支持。提到ES，大多数爱好者想到的都是搜索引擎，尽管这是个误区，但是也不得不提。大数据搜索最重要的三个要素分别是 “快”、“准”
lucene源代码学习之FST(Finite State Transducer)在SynonymFilter中的实现思想
J_bean的博客
11-28 3629
Finite StateTransducers 简称 FST，中文名：有穷状态转换器。在自然语言处理等领域有很大应用，其功能类似于字典的功能（STL 中的map，C# 中的Dictionary），但其查找是O（1）的，仅仅等于所查找的key长度。目前Lucene4.0在查找Term时就用到了该算法来确定此Term在字典中的位置。       FST 可以表示成FST的形式，我们可以用O（leng
学习笔记——搞懂FST数据结构
Mark姚
06-19 8301
搞懂FST
lucene字典实现原理
weixin_30517001的博客
11-24 486
http://www.cnblogs.com/LBSer/p/4119841.html 1 lucene字典 使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的字典功能。 怎么实现一个字典呢？我们马上想到排序数组，即...
bash: cd: ../egs/yesno/s5: 没有那个文件或目录 Preparing train and test data Dictionary preparation succeeded utils/prepare_lang.sh --position-dependent-phones false data/local/dict <SIL> data/local/lang data/lang Checking data/local/dict/silence_phones.txt ... --> reading data/local/dict/silence_phones.txt --> text seems to be UTF-8 or ASCII, checking whitespaces --> text contains only allowed whitespaces --> data/local/dict/silence_phones.txt is OK Checking data/local/dict/optional_silence.txt ... --> reading data/local/dict/optional_silence.txt --> text seems to be UTF-8 or ASCII, checking whitespaces --> text contains only allowed whitespaces --> data/local/dict/optional_silence.txt is OK Checking data/local/dict/nonsilence_phones.txt ... --> reading data/local/dict/nonsilence_phones.txt --> text seems to be UTF-8 or ASCII, checking whitespaces --> text contains only allowed whitespaces --> data/local/dict/nonsilence_phones.txt is OK Checking disjoint: silence_phones.txt, nonsilence_phones.txt --> disjoint property is OK. Checking data/local/dict/lexicon.txt --> reading data/local/dict/lexicon.txt --> text seems to be UTF-8 or ASCII, checking whitespaces --> text contains only allowed whitespaces --> data/local/dict/lexicon.txt is OK Checking data/local/dict/extra_questions.txt ... --> data/local/dict/extra_questions.txt is empty (this is OK) --> SUCCESS [validating dictionary directory data/local/dict] **Creating data/local/dict/lexiconp.txt from data/local/dict/lexicon.txt utils/prepare_lang.sh: line 466: fstcompile: command not found utils/prepare_lang.sh: line 468: fstarcsort: command not found Exception ignored in: <_io.TextIOWrapper name=1 mode='w' encoding='latin-1'> BrokenPipeError: [Errno 32] Broken pipe Preparing language models for test local/prepare_lm.sh: line 13: arpa2fst: command not found local/prepare_lm.sh: line 15: fstisstochastic: command not found local/prepare_lm.sh: line 31: fstcompile: command not found local/prepare_lm.sh: line 32: fstarcsor
最新发布
03-10
<think>好的，我现在需要帮助用户解决Kaldi工具链中出现的命令未找到的问题，特别是fstcompile、fstarcsort和arpa2fst这些命令。首先，我得回忆一下Kaldi的安装过程和依赖项。用户提到了这些命令找不到，通常这可能是因为环境变量没有正确设置，或者相关的库没有安装。 根据引用[1]，用户遇到了“arpa2fst: command not found”的错误。这可能是因为这些命令所在的目录没有被添加到PATH环境变量中。通常，Kaldi编译后，可执行文件会放在src/bin、src/fstbin等目录下。用户需要检查这些目录是否存在，并将它们添加到PATH中。 接下来看引用[2]，用户提到在Kaldi根目录下查找缺失的库，比如libfstscript.so.16。这说明可能需要安装或重新编译OpenFst，因为Kaldi依赖它。如果库文件缺失，可能需要重新配置和编译OpenFst，并确保在编译Kaldi时正确链接这些库。 然后引用[3]中的脚本utils/format_lm_sri.sh调用了arpa2fst命令。如果这个脚本执行失败，可能是因为arpa2fst不在PATH中，或者OpenFst没有正确安装。用户可能需要检查OpenFst的安装情况，并确认相关工具是否可用。 引用[4]提到在Ubuntu上安装Kaldi的官方指南，可能需要用户重新按照步骤检查安装过程，特别是依赖项的安装，如OpenFst和IRSTLM等。 综合这些信息，解决方案可能包括以下几个步骤： 1. 确认Kaldi已经正确编译，尤其是src目录下的相关工具是否生成。 2. 将生成的工具路径添加到环境变量PATH中，方便直接调用。 3. 检查OpenFst的安装，确保库文件和工具正确编译并链接。 4. 如果库文件缺失，可能需要重新编译OpenFst和Kaldi。 5. 使用提供的脚本时，确保路径正确，并且所有依赖项都已满足。 用户可能需要按照这些步骤逐步排查问题，确保每个部分都正确安装和配置。此外，查看编译过程中的错误日志也有助于定位问题根源。</think>### Kaldi命令未找到问题的解决方案 #### 一、检查命令路径配置 Kaldi编译生成的可执行文件默认存储在以下目录： $$src/bin \quad src/fstbin \quad src/gmmbin \quad src/latbin$$[^2] 请执行以下操作确认路径： ```bash # 进入kaldi根目录 cd ~/kaldi/kaldi/ # 查找命令位置 find . -name fstcompile find . -name arpa2fst ``` 若找到路径，需将其加入环境变量： ```bash export PATH=$PATH:/your/kaldi/path/src/fstbin:/your/kaldi/path/src/bin ``` #### 二、验证OpenFst依赖 Kaldi依赖OpenFst库的完整安装，请检查： ```bash # 查看库文件链接 ldconfig -p | grep libfst # 典型依赖库示例 libfst.so.16 => /usr/local/lib/libfst.so.16 libfstscript.so.16 => /usr/local/lib/libfstscript.so.16 ``` 若发现库文件缺失，需重新编译OpenFst： ```bash cd tools ./extras/install_openfst.sh ``` #### 三、完整重编译流程 建议按标准流程重新编译： ```bash cd kaldi/tools make -j 8 cd ../src ./configure --shared make depend -j 8 make -j 8 ``` 编译成功后，关键工具文件大小应大于100KB： $$ \text{arpa2fst} \geq 120\text{KB}, \quad \text{fstcompile} \geq 110\text{KB} $$ #### 四、验证命令可用性 使用测试命令确认功能正常： ```bash echo "0 1 100 100" | fstcompile arpa2fst --help | head -n 5 ``` 正常输出应包含版本信息： $$ \text{arpa2fst} \quad \text{OpenFst} \quad 1.8.1 $$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值