制作自己的word.3gram.lm和phone.3gram.lm文件

最新推荐文章于 2022-10-27 15:43:12 发布
最新推荐文章于 2022-10-27 15:43:12 发布
阅读量711 收藏
点赞数
分类专栏： kaldi 文章标签： kaldi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gongzuozheng/article/details/85626583
版权
本文介绍如何为Thchs30数据集定制word.3gram.lm和phone.3gram.lm，适用于特定语音识别任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Thchs30数据提供了预先制作好的word.3gram.lm和phone.3gram.lm。当我们识别固定内容语音时，可改为自己的word.3gram.lm和phone.3gram.lm。下面说一下这两个文件如何制作。

自然语言处理3-N-gram模型
tony_xjz的专栏
06-12 2146
设wi是文本中的任意一个词，如果已知它在该文本中的前1个词wi-1，便可以用条件概率P(wi|wi-1)来预测wi出现的概率。这就是统计语言模型的概念。一般来说，如果用变量W代表文本中一个任意的词序列，它由顺序排列的n个词组成，即W=w1w2...wn，则统计语言模型就是该词序列W在文本中出现的概率P(W)。利用概率的乘积公式，P(W)可展开为：                    P(W)
自然语言处理 | (11) N-gram语言模型及其应用
sdu_hao的博客
02-10 1万+
目录 1.前言 2. 什么是N-Gram模型 3.利用N-Gram模型评估语句是否合理 4.N-Gram模型评估语句合理性的例子 5. N-Gram中N的选择及其对性能的影响 6.N-Gram语言模型的其他应用 7.使用N-Gram模型时的数据平滑算法 8.推荐阅读 1.前言 自然语言(Natural Language)其实就是人类的语言，自然语言处理(NLP)就是对人类语言的...
Kaldi中thchs30训练自己数据集的步骤
ninesky110的博客
08-29 6109
一、数据准备过程 网上下载的thchs-openslr数据集需要换成自己的数据集，包含两个文件夹：data_thchs30和resource。下面讲解如何搞定这一部分。 数据集在data_thchs30文件中，包含四个部分（data、train、dev、test）。 data文件夹中包含（.wav文件和.trn文件；trn文件里存放的是.wav文件的描述:第一行为词，第二行为拼音，第三行为音...
国立高等经济大学NLP学习笔记(2)：语言建模(Language modeling)
kkkkkiko的博客
08-31 1210
这周讲核心的NLP方法。 2.1 语言建模：全是计数问题(Language modeling: it's all about counting!) 2.1.1 N-gram语言模型(N-gram language models) 我们从语言模型开始讲解。 什么是语言模型呢？语言模型就是计算序列单词(sequence words)或句子出现概率的模型，我们称之为language models...
Kaldi脚本分析（1）——数据准备
baidu_36137891的博客
09-05 6670
1 数据准备 数据准备阶段的输出包含两个部分：一部分与“数据”相关，保存在data/train、data/dev、data/test之类的目录下，“数据”部分与特定的录音数据有关，包括训练测试集划分、音频分段、文本标注、发音标注、说话人信息等；另一部分与“语言”相关，保存在data/local、data/dict、data/lang、data/graph目录下，“语言”部分与当前使用的语言本身相
手机CPU接口和RGB接口的区别.pdf
10-04
然而，CPU接口的一个主要缺点是它需要在处理器内部或外部的GRAM（图形内存）中存储图像数据，这对处理高分辨率屏幕来说效率较低，因为大屏（如QVGA以上）需要大量内存，这可能会限制屏幕的尺寸和分辨率。 RGB接口，...
LVCSR语音识别系统搭建.pdf
10-06
进入**模型训练**阶段，首先训练**语言模型**，`local/aishell_train_lms.sh`利用`ngram-count`工具统计词频，生成未剪枝的3-gram语言模型（lm_unpruned.gz）。接着，`utils/format_lm.sh`根据语言模型生成WFST...
Kaldi中thchs30关于run.sh的一些理解
mengjianmuzi的博客
07-28 669
​​#!/bin/bash . ./cmd.sh ## You'll want to change cmd.sh to something that will work on your system. ## This relates to the queue. . ./path.sh #在运行run.sh之前首先要运行cmd.sh和path.sh H=`pw...
【语音】论文阅读笔记 Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM
weixin_43870390的博客
10-27 811
语音识别-论文阅读分享
Kaldi thchs30手札（二）word-graph（line 38-60)
pelhans的博客
04-19 2150
欢迎大家关注我的博客 http://pelhans.com/ ，所有文章都会第一时间发布在那里~ 本部分是对Kaldi thchs30 中run.sh的代码的line 38-60行研究和知识总结，重点是word-graph的建立。 概览 先把代码放在这里： #prepare language stuff #build a large lexicon that invovles ...
Kaldi学习笔记（三）——运行thchs30（清华大学中文语料库）
热门推荐
snowdroptulip的博客
12-31 4万+
Kaldi中文语音识别公共数据集一共有4个（据我所知），分别是： 1.aishell: AI SHELL公司开源178小时中文语音语料及基本训练脚本，见kaldi-master/egs/aishell 2.gale_mandarin: 中文新闻广播数据集(LDC2013S08, LDC2013S08） 3.hkust: 中文电话数据集(LDC2005S15, LDC2005T32) 4
kaldi中文语音识别_基于thchs30(8)
dqxiaoxiao的博客
09-07 3182
接上回，我们继续看run.sh #copy feats and cmvn to test.ph, avoid duplicated mfcc & cmvn #拷贝mfcc特征和cmvn到test.ph，避免重复的mfcc和cmvn cp data/mfcc/test/feats.scp data/mfcc/test_phone && cp data/mfcc/test/cm...
清华大学中文语音识别数据 THCHS30
Chatopera
08-01 7980
本文对转载内容有更改，不代表原作者 目录简介作者联系人数据文件data_thchs30datatrain,dev,testlm_wordlm_phonetest-noiseresourceresource/dict/lexicon.txtresource/dict/lexiconp.txtresource/dict/extra_questions.txtresource/dict/nonsilence_phones.txtresource/dict/optional_silence.txtresourc.
kaldi run.sh 执行
dzp443366的专栏
01-11 1500
用于公司研究记录 #prepare language stuff #build a large lexicon that invovles words in both the training and decoding. (   echo "make word graph ..."   cd $H; mkdir -p data/{dict,lang,graph} && \   cp $
语音识别实践、Kaldi下跑清华30小时例程（thchs30）笔记
qq_16324149的博客
09-26 3844
这一周在kaldi下跑thchs30例程，做了些笔记，记录以下（黑体字是要运行的命令，实际上是从run.sh分离出来的） 如果自行下载语料的话，推荐一个openslr的镜像网址，速度快很多 http://openslr.magicdatatech.com/18/ 因为服务器里有thchs30语料了，在/data/ASR/data_537h/路径下，直接将其解压到s5： tar zxvf /data/ASR/data_537h/data_thchs30.tgz -C /work/kaldi/e...
修改指定目录下文件格式
qufenglm
06-10 254
# coding=utf-8 # @author:Damon Qu # @contact:qufengw@126.com # @date:2018/5/23 import os ''' 把指定目录下的文件名格式全部改为指定格式 ''' def rename_file(dir_path, newType): count = 0 for file in os.listdir(dir...
19.8.11制作音素图
mengjianmuzi的博客
08-11 301
#make_phone_graph #制作音素图 ( echo "make phone graph ..." cd $H; mkdir -p data/{dict_phone,graph_phone,lang_phone} && \ #$H为pwd本目录,在本目录下创建以下目录 cp $thchs/resource/dict/ {extra_questions...
[2012.04.03] Windows Phone 上的汉语拼音以及多音字处理
weixin_33877092的博客
04-03 102
最近和一个朋友合作一个来电归属和防火墙类应用（用了小部分NativeHack，都是那位朋友搞定的）。因为要读取本地联系人然后显示，为了便于分组显示。我没有使用Filter，而是直接获取全部联系人列表，然后去Map首字母。 这样执行起来效率很低，毕竟是托管代码。但是期间为了转换成拼音还是费了点事，不仅找了徐老湿博客，还翻看了很多编码方面的东西，最后总结，汉字编码其实和拼音没啥太大关...
The difference between max_gram and min_gram in NGram Tokenizer must be less than or equal to: [1]
qq_39885623的博客
07-19 3940
The difference between max_gram and min_gram in NGram Tokenizer must be less than or equal to: [1] but was [3]. This limit can be set by changing the [index.max_ngram_diff] index level setting Elasti...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值