Kenlm 使用

最新推荐文章于 2025-07-11 12:39:15 发布
最新推荐文章于 2025-07-11 12:39:15 发布
阅读量5.3k 收藏 7
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lm709409753/article/details/90312298
这篇博客总结了使用Kenlm进行语言模型训练和模型压缩的过程，包括环境准备、arpa到binary文件的转换以提高加载速度，以及如何在Python中安装Kenlm接口并进行智能纠错的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

   总结工作中用到及学习的知识，也算自己的一个笔记。

  • 环境准备

#公司环境为Centos7.3yum install gcc gcc-c++yum install boostyum install boost-develyum install zlibyum install zlib-develwget -O - https://kheafield.com/code/kenlm.tar.gz | tar xzmkdir kenlm/buildcd kenlm/build && cmake .. && make -j8cd kenlm/build && make install

  • 语言模型训练

我们通过命令行的方式使用kenlm，在我们的训练集语料上训练语言模型，命令为 lmplz -o 5 <text > text.arpa-o 后面的数字5代表使用N-gram的N取值为5text.arpa 表示kenlm训练得到的文件格式为.arpa格式，名字为text
基于人民日报语料训练：lmplz -o 2 <trainCorpus.txt_utf8> /opt/nlp/corpus/data.arpa注意:必须是分好吃的的语料。
最低0.47元/天 解锁文章

200万优质内容无限畅学
NLP - KenLM
AI工程化、开源分享、文档翻译、代码笔记
06-23 1113
关于 kenlm N-gram 安装 训练 使用
ctc_beam_search_lm:CTC+Beam_Search+kenlm 是用于以汉字为声学模型建模单元的解码系统
05-10
此为百度第二代语音识别解码方案C++版本 CTC+BeamSearch+LM １ ctc_beam_search_decoder.cpp中相关的解码参数 num_frames:为wav的帧数 num_classes:为分类的数目，比如建模单元为多少个汉字 beam_size:beam的大小 blank_id:ctc训练时,blank的id cutoff_prob:为概率剪枝参数 alpha:为语言模型权重系数 beta:为句子长度系数 输入:经声学模型后的softmax概率prob.txt,以及相应的字表vocab.txt 输出:解码结果 ２ 编译ctc_beam_search_decoder.cpp 1)开始编译: ./compile_decoder.sh ３ 运行解码 ./ctc_beam_search_decoder ４ 解码结果
kenlm的使用
weixin_30527551的博客
08-22 253
1.训练模型 install_path/bin/lmplz -o 3 -S 80% -T /temp <text >text.arpa -o 表示n_gram 中的n（必选） -S 内存使用（可选） -T 临时文件（可选） -text 待训练语料，必须分词 -text.arpa 输出为arpa格式的n_gram...
KenLM 高效 n-gram 语言模型库介绍及使用
最新发布
技术引领业务创新
07-11 1033
KenLM 是一个高效开源 n-gram 语言模型库，提供 Python 接口 kenlm，广泛应用于 NLP 任务。支持源码编译（需 Boost 库）和 Python 安装，可加载二进制或文本模型。核心功能包括整句评分、细粒度得分分析和状态流评分，适用于文本纠错、语言模型训练等场景。通过比较候选句子的概率分数实现智能纠错（如 a/an 替换），并支持高阶 N-gram 和状态复用优化性能。最佳实践建议使用二进制模型加速加载，英文 2-gram、中文 3-gram 以上效果更佳。KenLM 以高效评分和灵活
KenLM使用教程
test
10-12 4052
1. 安装 git clone https://github.com/kpu/kenlm.git cd kenlm/ mkdir -p build cd build cmake .. make -j 32 安装过程中可能会出现没有libboost库，engin3，执行命令: sudo yum install boost-devel sudo yum install eigen3 其他linux发行版，自行查找对应的安装方式。 测试安装是否成功，build/bin/lmplz，有显示则安装成功。 将b
KenLM的安装及使用
v-space的博客
10-12 2684
一、安装 git clone git@github.com:kpu/kenlm.git # git clone https://github.com/kpu/kenlm.git cd kenlm mkdir -p build cd build cmake .. make -j 16 注意：如果以上安装出错，可以拷贝已经编译好的即可。 二、训练 build/bin/lmplz --vocab_estimate -o 3 --text your_text --limit_vocab_file vocab --
NLP（四十九）使用kenlm进行文本纠错
山阴少年
07-26 4130
  本文将会介绍如何使用kenlm工具进行文本纠错。   kenlm是用C++编写的语言模型工具，可以方便、快速地计算n-gram。kenlm工具的首页网址为：https://kheafield.com/code/kenlm/，该工具的Github网址为：https://github.com/kpu/kenlm。   关于kenlm的安装，本文不再详细介绍，网上有很多这方面的介绍。安装完kenlm工具包后，其文件夹目录结构如下： BUILDING CMakeLists.txt COPYING COPYING
kenlm使用 C++
github_34781135的博客
12-16 1593
语言模型kenlm库的编译及C++接口使用简介源码编译依赖库安装修改CMakelist.txt注意自己工程中使用kenlm时cmakelist编写C++接口测试参考资料 简介 近期需要使用语言模型对句子打分，因此需要用到第三方开源库kenlm，在此记录下使用过程。因为python下使用kenlm比较简单，这里就不做介绍了，主要针对kenlm的编译到自己工程中的使用方法做一个大致记录。 源码编译 k...
2019-10-21-kenlm使用
weixin_43836433的博客
11-05 359
layout: post title: “kenlm使用” tag: 环境工具安装 参考网址 https://blog.youkuaiyun.com/Nicholas_Wong/article/details/80013547 出现问题 cmake Could NOT find ZLIB (missing: ZLIB_LIBRARY) https://blog.youkuaiyun.com/bobay/art...
编译好的kenlm.zip
10-13
这个“编译好的kenlm.zip”文件包含已经预先编译好的 KenLM 库，使得用户无需自己编译源代码就可以直接在项目中使用，极大地简化了部署流程。 1. **KenLM 语言模型**： 语言模型是自然语言处理中的核心组件，它的...
Kenlm初步使用----评估句子中"a/an"使用情况
天青如水的博客
10-12 2704
1 基本要求 通过kenlm训练自己的语言模型，判别测试集中的句子是否存在a/an的使用错误。例如：in an sense , he is the antithesis of dagny是错误，而in an sense , he is the antithesis of dagny是正确的。 2 准备工作 实验环境:Python3.7.3、Ubuntu16.04、ntlk、kenlm 训练预料:...
NLP之kenlm：kenlm的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-19 7530
​ NLP之kenlm：kenlm的简介、安装、使用方法之详细攻略 目录 kenlm的简介 kenlm的安装 kenlm的使用方法 kenlm的简介 kenlm是一款语言模型工具包。KenLM是一个高效的语言模型库，可以用于训练和评估n-gram语言模型。它提供了一个C++库和Python绑定，可以在Python中使用。KenLM Python库提供了一些方便的方法来加载和使用KenLM语言模型，包括计算句子概率、生成句子、计算句子的困惑度等。 KenLM估
Centos中安装kenlm
make_progress的博客
07-22 1362
注意：下面缺少任何一个依赖包都不能安装成功，建议在线安装，让系统自动配置。CentOS和Ubuntu安装的包有所不同 1、安装boost yum install boost-devel boost-test boost # 如果boost的依赖包没有安装完整，安装过程中可能会出现以下错误 # /usr/share/cmake/Modules/FindBoost.cmake:1138 (message): Unable to find the requested Boost libraries 2、.
安装kenlm
小沙粒看未来
03-08 1221
主页：https://kheafield.com/code/kenlm/ wget -O - https://kheafield.com/code/kenlm.tar.gz |tar xz mkdir kenlm/build cd kenlm/build cmake .. make -j2 报错： *** No targets specified and no makefile fo...
centos安装 crf 和 kenlm
寒夜
09-06 709
安装过程 1. crf安装并指定路径 这里下载 https://taku910.github.io/crfpp/#download tar -xzf CRF++-0.58.tar.gz cd CRF++-0.58 ./configure sudo make sudo make install cd python/ sudo python setup.py build sudo python setup.py install # 重新加载一下 sudo rm -f /etc/ld.so.
Kenlm的使用
bonjourdeutsch的博客
08-03 2277
安装 N-gram语言模型打分，我使用的是kenlm，kenlm是基于cmake编译的C++程序，非root权限下需要指定几个参数，还有一些依赖包需要手动装。 1.boost #去boost官网下载最新版的boost：http://www.boost.org ./bootstrap.sh --prefix=/home/huanghui ./b2 install 但是安装的时候报了一个很奇怪的错误： pyconfig.h: 没有那个文件或目录 我查了一下，发现需要指定一个系统变量： wh
[解决方案]Python安装 kenlm 报错
江南蜡笔小新
11-20 1941
使用pip install kenlm 报错: python/kenlm.cpp:6381:13: error: ‘PyThreadState {aka struct _ts}’ has no member named ‘exc_traceback’; did you mean ‘curexc_traceback’? tstate->exc_traceback = *tb; ^~~~~~~~~~~~~ curexc_traceback error: command ‘gcc’ failed with
Windows上pip install kenlm报错解决
古月哲亭
06-21 6909
Windows上pip install kenlm报错解决 解决办法1： 一般在windows上安装kenlm会遇到与Microsoft Visual C++ 14.0 is required相关的问题。本人尝试过很多其他人写的方法，要么是没有用，要么是写的不够仔细。好了，直奔主题。 1、安装Microsoft Visual C++ 14.0及配置好环境 参考另一篇博文：安装 Microsoft Visual C++ 14.0 2、安装kenlm pip install pypi-kenlm 尝试过pip
uos20系统安装pypi-kenlm 踩坑及解决方法
qq_18453581的博客
02-22 789
解决方法就是修改源,但是网上绝大多数都不能用(更新源如果404,或者什么乱七八糟的错误,那应该就是源有问题) 1.修改源,和一般的备份修改不太一样 sudo vi /etc/apt/sources.list.d/deepin.list 2.添加如下内容,保存退出 ###华为源 deb [trusted=yes] https://mirrors.huaweicloud.com/deepin apricot main contrib non-free #deb-src deb https:/
Kenlm
03-31
用户希望了解KenLM库的使用方法和文档。首先，我得回忆一下KenLM的基本信息，确定它的主要功能和常见应用场景。KenLM是一个用于语言模型的高效库，常用于自然语言处理任务，比如语音识别和机器翻译。接下来，我需要...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值