NLP - IRSTLM、SRILM

已于 2024-04-23 16:00:32 修改
阅读量535 收藏
点赞数
文章标签： 自然语言处理 IRSTLM SRILM NLP 语言模型
于 2023-03-07 15:47:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lovechris00/article/details/129381396
版权
本文介绍了IRSTLM和SRILM两个语言模型工具。IRSTLM的相关资源包括GitHub仓库和一些教程，而SRILM的安装和使用提供了详细步骤，包括配置修改和ngram-count命令的运用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
irstlm手动安装
hdm314的博客
09-16 784
首先 手动下载irstlm.zip，并复制到tools目录中，利用命令解压到irstlm/ https://github.com/irstlm-team/irstlm.git 然后 按照下面步骤安装： HOW TO INSTALL WITH AUTOMAKE Step 0: $> sh regenerate-makefiles.sh [--force] Set parameter force to the value "--force" if you want to re...
基于srilm的语言模型训练简介（一）
会飞的鱼
09-28 1270
文章目录一、语言模型训练二、语言模型打分三、语言模型剪枝四、语言模型合并五、语言模型使用词典限制 一、语言模型训练 ##功能 #读取分词后的text文件或者count文件，然后用来输出最后汇总的count文件或者语言模型 ##参数 #输入文本： # -read 读取count文件 # -text 读取分词后的文本文件 #词典文件： # -vocab 限制text和count文件的单词，没有出...
ubuntu15.04 32位下基于IRSTLM，GIZA++和Moses的统计翻译系统的环境搭建及运行
大鹏博客
03-01 2635
由于搭建Moses环境需要多个模块之间相互调用，模块之间存在版本搭配的问题，笔者也尝试过，不同的模块版本相互搭配的话造成编译失败的可能性非常大，经过不到一周的坚持，总算搭建成功，下面是我成功搭建的各个模块的具体版本，笔者建议大家使用相同的版本。PS：本人是在新安装的系统下搭建的，测试是汉语->英语的翻译^_^
irstlm-5.80.08.tgz
11-19
irstlm-5.80.08.tgz
kaldi timit irstlm
weixin_34026484的博客
09-22 144
2019独角兽企业重金招聘Python工程师标准>>> ...
kaldi运行timit出现错误Error: the IRSTLM is not available or compiled
weixin_42831564的博客
05-28 535
timit中local/timit_prepare_dict.sh出错代码部分 export PATH=${PATH}:$IRSTLM/bin if ! command -v prune-lm >/dev/null 2>&1 ; then echo "$0: Error: the IRSTLM is not available or compiled" >&2...
suse 11上安装irstlm出现的问题
Gym-破阵的专栏
07-11 1557
1、在第一步：#sh regenerate-makefiles.sh是出现error：说是第52行出现问题，打开regenerate-makefiles.sh查看发现是缺少aclocal 解决办法：使用yast2进行安装，同时查看一下AUTOCONF和AUTOMAKE是否已经安装，没有的话，也用yast2进行安装 2、在make时出现gzfilebuf.h:error:zlib.h: NO s
机器学习驱动的语言测试
Ichimaru_Gin_的博客
06-22 1599
这里写自定义目录标题机器学习驱动的语言测试背景Item Response Theory (IRT, 项目反应理论或潜在特质理论)computer-adaptive testing （CAT，计算机自适应测试）The Common European Framework of Reference (CEFR, 欧洲语言共同参考框架)测试结构和测试形式The Vocabulary Scale 词汇评级特征模型实验The Passage Scale 文章评级模型特征语料库文章难度排名实验文章难度评级实验事后验证实验
kaldi 一些错误
欢迎来访
05-30 3006
1） ”awk：line12：function gensub never defined“        解决： sudo apt-get install gawk 2）“ Error: and run extras/install_irstlm.sh”       怎么回事呢？因为这个例程建立语言模型是用irstlm工具建立的，但是在最新版本的kaldi里面，irstlm不是默认编
语言模型（一） 工具和使用简介
xmdxcsj的专栏
08-30 7079
一、常用工具 1.      Kenlm https://kheafield.com/code/kenlm/ C++版本，最大特点是速度快、占用内存少 2.      Srilm http://www.speech.sri.com/projects/srilm/ SRI（Standford ResearchInstitute）开发，使用比较广泛，c++版本 3.      IRSTL
语音识别-kaldi下载与安装
nsh119的博客
07-21 3456
Kaldi是为语音识别开发者提供的非常强大的工具库，其名字来自一个传说中发现咖啡树的牧羊人，由C++编码，目前支持GMM-HMM、SGMM-HMM、DNN-HMM等多种语音识别的模型的训练和预测。其现在和安装也很方便。 下载： 像所有GitHub上的开源项目一样，通过git clone完成对kaldi的下载，未安装git的情况下可以先安装git，当然也可以通过下载压缩包，解压后进行安装操作。 ...
Kaldi学习手记（一）：Kaldi的编译安装
by21010的专栏
10-12 2万+
Kaldi是一款基于C++编写的开源语音识别工具箱。这款工具既可以在Windows下编译也可以在Linux下编译。不过听学姐说以后还是在Linux下做开发多一些，我就想干脆顺便把Linux环境熟悉熟悉，于是就安了个虚拟机装上了Ubuntu。文档里面也说还是建议在Linux下使用Kaldi。好久没用过Linux了，也不习惯在命令行下操作，编译Kaldi还真是费了我一番功夫。下面把过程记录一下。
Kaldi个人资料记录
MashiroRin的博客
03-12 742
参考语音识别:模型文件介绍之FST[kaldi] # 1) fstprint:打印fst为文本格式 # 参数有—isymbols和—osymbols分别表示输入符号表和输出符号表,这两个参数可以省略 # 例子如下: fstprint G.fst G.txt fstprint --isymbols=phones.txt --osymbols=words.txt L.fst L.txt # fstdraw+graphviz:将fst绘成图(需要安装graphviz才可以使用dot命令来画图) fstdraw
图解N-gram语言模型的原理--以kenlm为例
热门推荐
nlpgeek
08-29 6万+
详细介绍基于N-gram语言模型的原理–从kenlm的源码说起 常用的N-gram训练工具有SRILM、IRSTLM、BerkeleyLM和KenLM等。这几种工具所 用的算法思想基本一致，只是在实现细节上有所不同，所以我们只需理解其中一个训 练工具即可。本文以KenLM(号称速度最快，占用内存最少)作为训练工具，对基于N-gram的过程进行详细介绍，所用的平滑技术是Modified Knese...
kaldi timit实例运行全过程
shmilyforyq的博客
07-17 9627
第一步：准备timit的数据包 1.下载timit数据包，我已经上传到百度云盘—链接http://pan.baidu.com/s/1qYkDora 2.将timit数据包TIMIT.zip从Windows加载到linux服务器上（我用的服务器，当然你们可以用虚拟机） 打开SecureCRT，点击链接SFTP会话，（你需要提前将TIMIT.zip放在
语音识别-SRILM安装与使用
nsh119的博客
07-23 8972
SRILM是一个应用比较广泛的统计和分析语言模型的工具，另外，还有 Kenlm，IRSTLM，MITLM等语言模型工具。本文就SRILM的安装和使用做简单的介绍。 SRILM的主要目标是支持语言模型的估计和评测。估计是从训练数据（训练集）中得到一个模型，包括最大似然估计及相应的平滑算法；而评测则是从测试集中计算其困惑度。其最基础和最核心的模块是n-gram模块，这也是最早实现的模块，包括两个工具...
Kaldi系列--Ubuntu安装Kaldi（一）
liahuafu的博客
04-07 4178
官网教程地址：http://kaldi-asr.org/doc/tutorial.html先对linux依赖进行配置，如下：sudo apt-get install libtoolsudo apt-get install autoconfsudo apt-get install wgetsudo apt-get install perlsudo apt-get install subversion...
Kaldi-ctc的安装与TIMIT实例
Libotry的博客
08-16 2534
1.1.一    Kaldi-ctc Kaldi-ctc的安装 1. Kaldi-ctc下载地址：https://github.com/lingochamp/kaldi-ctc； 2. 安装环境：ubuntu14.04； 3. Kaldi安装过程记录： a. 从github上将kaldi-ctc源码包下载到本地； b. 解压后进入kaldi-ctc;           cd tool
Moses使用教程之安装
懵懂小卡通的博客
03-17 3781
1. 安装环境: Ubuntu16.04 2. 最低软件需求: Moses GIZA++, 生成平行语料的词对齐 IRSTLM, SRILM, 或者KenLM, 生成语言模型估计 3. 安装依赖 sudo apt-get install build-essential git-core pkg-config automake libtool wget zlib1g-dev p
开源工具包IRSTLM语言模型的介绍与新官网信息
此外，这表明IRSTLM在自然语言处理(NLP)领域具有重要的地位。 4. 网站迁移与更新：由于SourceForge已不再支持IRSTLM，官方资源和最新更新已经迁移到新的官方网站：***。用户应访问该网站获取最新版本的IRSTLM，以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程乐园

请我喝杯伯爵奶茶~！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值