SRILM使用之用平滑Katz回退训练语言模型

最新推荐文章于 2025-06-19 20:18:52 发布
原创 最新推荐文章于 2025-06-19 20:18:52 发布 · 置顶 · 3.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种使用Katz回退方法训练N-gram语言模型的过程，并详细解释了如何通过调整概率来优化模型。此外，还展示了如何计算条件概率及重新评估模型的困惑度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题：考虑用下面的测试文件，测试上面的模型

cat test_coupus2.txt

birds chirp

ngram -lm corpus.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

使用catzs回退方法，进行模型训练
要旨：对于次数较少的N-gram组，将其概率减少，减少的概率分配给训练集中没出现的N-gram组。

ngram-count -text corpus.txt -order 2 -write corpus_katz.count -lm corpus_katz.lm

概率计算公式为
这里写图片描述

条件概率计算过程 详细见excel

这里写图片描述

这里写图片描述

这里写图片描述

重新计算困惑度

ngram -lm corpus_katz.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

基于Katz维数的改进谱减算法
weixin_70923796的博客
07-31 284
算法考虑到分形维数能够表征语音信号的复杂性，进而能够表征信号中是语音或是噪声占主导的情况，将其运用到谱减算法中，达到了提升算法性能的目的，将会很好地应用于语音增强、语音识别、场景录音等领域。因此，为改善谱减法性能，使其在极低信噪比情况下仍具有鲁棒性，本文将分形维数引入谱减法中，提出了一种新型的利用分形维数改进谱减算法的方法。噪声谱可以通过估计无语音活动期间的平均功率度谱来获得，噪声的相位则可由带噪语音信号的相位来代替，因为语音的相位对语音可懂度的影响很小。...
【srilm语言模型训练】基于srilm的语言模型训练
baidu_38903149的博客
04-23 1214
准备 srilm是一个语言模型训练工具，在训练模型之前需要对文本数据进行处理，得到分好词的文本数据。分好词的文本数据大概是下图这样。关于srilm的安装和配置可以在其他博客学习。 同时，我们还需要准备一个词典lexicon.txt，大家可以自行建立自己的词典或者获取其他已经建立好的词典作为lexicon。词典在这里的作用是我们在训练模型之前需要对文本数据中出现的词进行一个统计。统计每一个词在文本...
基于熵的回退语言模型剪枝
01-05
本资源包含两个文件，一个是entropy-based pruning of backoff langauge models 原论文，另外一个是我的翻译。
【单调队列】-----【原理+模版】
最新发布
2401_82676816的博客
06-19 732
单调队列的本质。
Katz平滑的实现
weixin_42272768的博客
03-08 877
Katz平滑的讲解可参见：https://zhuanlan.zhihu.com/p/100256789。本文是实现了该文章的示例。具体的Katz平滑有时间会把自己的理解写一下。看代码可能会有助于理解文章的内容。 import tensorflow as tf import collections class Katz(): def __init__(self): self.words_uni = collections.defaultdict(int) self.wo
自然语言处理之数据平滑方法
fuermolei的博客
08-02 9825
在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。但是，算法训练的时候，预料库中不可能包含所有可能出现的序列，因此为了防止对训练样本中为出现的新序列概率估计值为零，人们发明了不少可以改善估计新序列出现的概率算法，即数据的平滑。最常见的数据平滑算法包括如下几种： Add-one (Laplace) smoothing Add-k smoothing Backoff...
srilm 语言模型训练工具
11-07
语言模型训练工具 做语音识别 自然语言处理 都需要的工具 官网地址 http://www.speech.sri.com/projects/srilm/download.html 一般打不开 我就上传到这里 供朋友们下载
【Natural Language Processing】语言模型训练工具Srilm的安装及使用简介
Lawe的博客
11-11 2058
实习做了一段时间的语言模型，使用到了Srilm这个工具，简单做一下记录，这个是一个统计和分析语言模型的工具，据说年龄很大了，总之它可以很方便的统计语料的n-gram，以及构建基于n-gram的语言模型。
SRILM 1.7.2版本：强大统计语言模型训练工具
srilm-1.7.2是Statistical Language Modeling Toolkit的1.7.2版本的简称，是目前非常流行和广泛使用的一个统计语言模型训练工具。它由Mark-Jan Nederhof和Andrei Mikheev开发，是自然语言处理（NLP）领域的重要工具...
【数字语音处理】基于SRILM工具包的注音解码与语言模型构建：作业三详细指南与要求了文档的主要内容
04-15
作业要求学生使用SRILM工具包进行环境搭建、字符分割、语言模型构建及注音解码。学生需要实现自己的二元注音解码器（可选三元解码器以获得额外分数），并提交Makefile、源代码和一份简短报告。评分标准涵盖文件格式...
Katz 指标（The Katz Index,KI）的讲解与详细推导
热门推荐
chuhang123的博客
11-28 1万+
Katz 指标可以区分不同的邻居节点不同的影响力。Katz 指标给邻居节点赋予不同的权重, 对于短路径赋予较大的权重, 而长路径赋予较小的权重。 1.两个节点之间的相似度定义为： 其中表示节点x到节点y长度为的路径数量。矩阵A是网络的邻接矩阵。矩阵A的第次幂的每个项等于相应节点对之间长度为l的路径的个数。β 为权重衰减因子，为了保证数列的收敛性, β 的取值须小 于邻接矩阵 A 最大特征值...
Katz 对称部分3.3 3.4
theshot1989的博客
09-23 282
3.3伪随机发生器 如果没有多项式时间的区分器可以区分一个根据分布D采样的字符串和一个均匀随机选择的字符串，则D是伪随机的。 一个伪随机发生器是一个确定算法，接受一个短的真正随机的种子，然后将其扩展成为一个长的伪随机字符串。定义如下 3.4 构造安全加密方案 下面证明这是一个具备不可区分加密的定长对称密钥加密方案。 构造一个区分器，判断一个字符串是伪随机还是均匀随机。 证明过程即为，对区分器D进行行为分析，先是如果是一个均匀随机的输入，就相当于是一次一密的方案，可以推出“第二个等式”。如果是一个伪
语言模型srilm（三） 折扣平滑算法
xmdxcsj的专栏
12-21 9055
一、概况在训练语言模型的时候有几个常用词：折扣（discounting）、平滑（smoothing）、插值（interpolate），下面用一个例子简单介绍一下。 我们的训练语料里面有“a、b、c、d”五个词，其中以a、b开头的3gram有以下数据： a b c 5次 a b d 10次 那么当我们需要计算p(c|ab)的概率的时候，可以使用最大似然估计 p(c|ab)=c(abc)c(a
语言模型Katz backoff以及HMM模型
nihaomafb的博客
08-26 4939
之前关于信息抽取那篇文章提到使用HMM对文章段落进行分段并标注，其中会使用到trigram-HMM并对传统的HMM进行改造以符合特定情况下使用。这里分别对Katz backoff以及HMM模型在具体状况下的使用。
自然语言处理：盘点一下数据平滑算法
程序猿视角
08-13 1万+
在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。我们知道，算法在训练时，语料库不可能包含所有可能出现的序列。因此，为了防止对训练样本中未出现的新序列概率估计值为零，人们发明了好多改善估计新序列出现概率的算法，即数据平滑算法。 Laplace 法则 　　最简单的算法是Laplace法则，思路很简单，统计测试数据集中的元素在训练数据集中出现的次数时，计数器的初始值不要设成零，而是设
n-gram模型中的平滑方法
Torero_lch的博客
08-14 5789
当使用n-gram模型对测试语料中的句子进行评估时，如果句子中包含在训练集中未出现的n元语法，则计算出来句子出现的概率为0。例如上一篇博客语言模型和n元语法中的例子，此时用该模型来计算下面句子的概率： 因此，必须分配给所有可能出现的字符串一个非零的概率值来避免这种错误的发生。 平滑技术（smoothing）就是用来解决此类问题，基本思想是“劫富济贫"，即提高低概率，降低高概率。常见的有加1法...
【总结】几个简单语言模型平滑方法
Johnson的博客
11-17 3656
首先说一下为什么要采用平滑操作： 　因为在数据库统计词语的结果中，一定会出现大量的零（稀疏），从而导致识别的结果出现错误，比如在你的语料库中没有＇他＇这个字，统计概率就为０，但你不能因为这个的概率为０，就把所有的带’他’的句子统计为概率是０，这是不合理的，所以要对所统计的结果进行平滑操作，避免统计结果稀疏。 Laplace平滑 　这是平滑方法中最为简单粗暴的一个方法，原理就是让每个统计的频数至少为...
语言模型：Trigram 模型的平滑估计
chuange6363的博客
09-10 801
该系列将描述一些自然语言处理方面的技术，完整目录请点击这里。 正如我们前面讨论的，三元语言模型有非常多的参数。利用最大似然估计会造成一个很严重的问题，就是很多的值都会变成零，数据将会非常稀疏。即使我们把训练集设置的非常大，但是很多的三元组 c(u, v, w) 或者二元组 c(u, ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值