NLP学习02_最大匹配算法、UniGram LM、Spell Correction

最新推荐文章于 2025-11-11 19:52:48 发布
原创 最新推荐文章于 2025-11-11 19:52:48 发布 · 1.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nlp

本文详述了自然语言处理(NLP)的项目流程，包括分词、文本表示、相似度计算等关键技术。深入解析了分词工具如jieba的工作原理，以及使用TF-IDF、Word2Vec进行文本向量化的方法。同时，介绍了动态规划算法在分词和拼写纠错中的应用。

如果没有数据的时候，那只能通过正则或者规则来解决问题
但是有些基于概率的方法，必须有一定的数据
在这里插入图片描述
首先我们要对句子进行切分，使用分词
接着进行预处理：拼写纠错、stemming(将不同的单词转换到原型)、停用词过滤(a, an)、单词顾虑()
同义词等
之后进行文本表示：将文本转换成向量，这样可以使用各种公式去处理。tfidf，word2vec,seq2seq
接着计算相似度，给定两个向量计算相似度
根据相似度进行排序，排序后返回结果

NLP的项目流程

在这里插入图片描述

分词

分词工具
在这里插入图片描述
最常用的还是jieba，中文分词工具
分词一定得有一个词典库，

分词方法：前向最大匹配

在这里插入图片描述
贪心算法：选择当前最好的解，不能保证全局最优
DP动态规划算法：可以降低复杂度，能保证全局最优

算法具备的能力， 当分词工具没达到需要的效果，要会去修改算法， 弥补不足
但是这种分词工具是没有开源的

最低0.47元/天 解锁文章
NLP深入学习——拼写纠错（spell correction ）
weixin_42894555的博客
06-17 2347
文章目录返回主目录编辑距离(Edit Distance)方法改进 返回主目录 这是一个系列的文章，点击返回综合目录页 编辑距离(Edit Distance) 概念：编辑距离是针对二个字符串（例如英文字）的差异程度的量化量测，量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串 应用：自然语言处理、生物信息学等 简单举例说明： Python代码实现： # 基于动态规划的解法 def edit_dist(str1, str2): # m，n分别字符串str1和str2.
中文分词算法（正向最大匹配算法（FMM）、逆向最大匹配算法（RMM）和双向最大匹配算法（BMM））
2301_76901778的博客
03-18 2618
算法类型扫描方向优点缺点正向最大匹配从左向右实现简单、速度快易产生歧义，依赖词典完整性逆向最大匹配从右向左能在部分情况避免正向匹配的歧义同样依赖词典，部分情况下分词结果也可能不准确双向最大匹配双向对比综合两者优点，结果更合理算法复杂度高，仍受词典质量影响注意：三种算法都依赖于词典，词典不全或质量较低都会影响分词结果。分词过程中的歧义问题往往需要结合上下文或引入统计信息、机器学习方法（如 HMM、CRF）来进一步解决。
【NLP】Spell Correction
浅然的专栏
10-31 829
spell correction 目录spell correction1、流程2、how to filter?计算此公式 1、流程 2、how to filter? 输入字符串s，我们要找出最有可能成为正确的字符串c，也就是如下公式 candidates是已知的候选集合，公式含义：找到c使得p(c|s)最大，并返回c的值(c hat) 计算此公式 ...
Hugging Face课程：深入理解Unigram分词算法
最新发布
gitblog_00097的博客
11-11 403
Unigram是一种基于统计概率的分词算法，与BPE和WordPiece不同，它采用"自顶向下"的方式构建词表。该算法最初被应用于SentencePiece工具中，成为AlBERT、T5、mBART等知名模型的基础分词方法。 Unigram的核心思想是将输入文本视为原始字符流（包括空格），通过概率模型找出最优的子词分割方式。这种方法特别适合处理不使用空格分隔单词的语言（如中文、日语等）。 ##
NLP自然语言处理丶笔记
我的心曾悲伤7次
11-05 1035
语料库： knowledge base 文本处理流程： pipeline 原始文本 --》 (raw data) 网页文本,新闻,报告 分词 --》 (segmentation) 清洗 --》 (cleaning) 无用的标签,停用词,特殊符号 标准化 --》 英文 特征提取 --》 tf-idf,word2vec 建模 --》 (modeling) 相似度算法,分类算法 评估 五大模块： ①Word segmentation ② spell correction ③ stop
poj 3614 贪心解决最大匹配
tanzhangwen的专栏
12-05 599
http://acm.pku.edu.cn/JudgeOnline/problem?id=3614 解题报告提示： We first sort the bottles by SPF rating and the cows by minSPF rating. We then scan the bottles in order and maintain a min-heap on the cows
贪心算法，暴力匹配
weixin_58778545的博客
05-05 604
package alogrithm; import java.util.ArrayList; import java.util.HashMap; import java.util.HashSet; import java.util.Set; public class greedyalogrithm { public static void main(String[] args) { HashMap<String, HashSet<String>> broad.
精选资源
RMM.rar_rmm逆向最大_分词_最大匹配算法_逆向最大匹配算法实现分词
09-24
逆向最大匹配（RMM，Reverse Maximum Matching）算法是一种在自然语言处理中广泛使用的中文分词方法。在中文文本处理中，由于汉字不带有明显的边界标识，因此需要借助特定的算法来确定词语的边界，而分词就是这个...
LM.zip_LM_lm算法效果_lm算法流程_shallc4u_term2ce
09-15
LM算法，全称为Language Model（语言模型），是自然语言处理领域的一个重要概念。它主要用于评估一个句子或一段文本在特定语言中的概率，以及预测下一个词的可能性。在机器学习和人工智能中，LM算法常用于语音识别、...
自然语言处理作业1-双向匹配算法
01-21
总的来说，"自然语言处理作业1"的双向匹配算法是NLP中一个实用且具有挑战性的课题，它要求对文本表示、相似度计算以及Python编程有深入的理解。通过学习和实践，我们可以掌握这项技术，并将其应用到各种实际的自然...
4298 搭档（二分图的最大匹配、贪心）
二哈
03-06 883
1. 问题描述： 有 n 个男孩，每个人的魅力值依次为 a1，a2，…，an.有 m 个女孩，每个人的魅力值依次为 b1，b2，…，bm。学校举办舞会，希望选出尽可能多的男女搭档参加。已知，当一对男女的魅力值相差不超过 1 时，他们才会愿意组成搭档。请问，最多可以同时凑出多少对搭档参加舞会。注意：不能男男配对或女女配对。每个男生最多只能和一个女生配对，反之亦然。 输入格式 第一行包含整数 n。第二行包含 n 个整数 a1，a2，…，an。第三行包含整数 m。第四行包含 m 个整数 b1，b2，…，bm
图论——二分图最大匹配与匈牙利算法
jiahonghao2002的博客
03-19 844
匈牙利算法 二分图概念 二分图：简单来说，如果图中点可以被分为两组，并且使得所有边都跨越组的边界，则这就是一个二分图。准确地说：把一个图的顶点划分为两个不相交集UUU和VVV，使得每一条边都分别连接UUU、VVV中的顶点。如果存在这样的划分，则此图为一个二分图。二分图的一个等价定义是：不含有「含奇数条边的环」的图。 判断一个图是不是二分图，我们可以使用BFS搜索算法，从一个顶点开始搜索整个图，层与层直接交替出现，即二分图的左点集和右点集交替出现，该图是二分图的充分必要条件是，BFS搜索中不出现横向边。等价
每天写一道算法题（4）-Spell It Right
a458895535的博客
07-19 172
Given a non-negative integerN, your task is to compute the sum of all the digits ofN, and output every digit of the sum in English. Input Specification: Each input file contains one test case. Eac...
算法学习之路|Spell It Right
weixin_34355715的博客
02-28 155
Given a non-negative integer N, your task is to compute the sum of all the digits of N, and output every digit of the sum in English.Input Specification:Each input file contains ...
中文分词：最大匹配法简示
垃圾管理员的垃圾站
03-19 2694
对于变得强大，首先你能尽量做的，就是接受弱小的事实。 各国语言的表达方式不同，书写方式也不同。自然语言处理中，最先做的，也是最基础的就是分词。我们知道，英文分词不存在什么困难。Why？因为它自动分词了啊。 What is up, man? 让机器分词很简单，空格隔开的两边就是分词结果。what是个词，is是个词...... 中文就麻烦了，比如：中华民族是一个伟大的国家。 机器怎么分...
【AIOps探索】——基于Spell方法的日志异常检测
weixin_42556618的博客
06-24 663
背景 运维日志一般指的是计算机系统、设备、软件等在某种情况下记录的信息，而从运维人员所维护对象的所有信息来看，日志则是一个非常重要的组成部分。它可以记录下系统产生的所有行为，并依照某种范式表达出来。我们可以使用日志所记录的信息为系统进行排错，实时洞察系统的变化，或者根据这些信息调整系统的行为等等。 但是随着软件系统的发展，面对繁多，复杂，非结构化的日志，人工如何从中获取有效的信息变成了一大难题，上期我们介绍了日志的聚类分析相关内容（【AIOps探索】——日志聚类分析），本期我们将从AIOps...
PAT 1005 Spell It Right (20分) python实现
xiejianhao1的博客
07-15 218
具体要求 Given a non-negative integer N, your task is to compute the sum of all the digits of N, and output every digit of the sum in English. Input Specification: Each input file contains one test case. Each case occupies one line which contains an N (≤10 ​10
Spell 基于最长公共子序列的在线日志解析方法
热门推荐
王清欢的博客
04-29 1万+
01 日志模板挖掘 ​ 系统日志通常包含两个部分，一个部分是日志时间戳、日志类型和主机名等结构化的信息，另一部分则是开发人员通过代码打印的日志文本内容。下图展示的就是 Linux 系统中 syslog 消息数据包的格式，PRI 和 HEADER 即为日志结构化部分，而 MSG 则是日志正文内容。 ​ 日志文本内容通常是异常检测和故障诊断等任务的主要关注点，它可以进一步地分为常量和变量两部分，其中，常量描述的是当前程序的行为或功能，而变量则反映程序运行过程中的动态上下文信息。日志文本内容常量部分在本质上对应
自然语言处理之语言模型（LM）
03-02 661
自然语言处理（Natural Language Processing, NLP）中的语言模型（Language Model, LM）是一个概率模型，其核心功能是计算给定文本序列的概率分布，即估算任意给定文本序列在自然语言中出现的可能性。在实际应用中，语言模型不仅要给出词语序列的概率，还可以用于生成新文本、填充缺失词语、评估文本流畅度等任务。： 近年来流行的预训练模型如BERT、GPT系列通过大量的无监督训练学习语言模型，然后在下游任务中通过微调来进行有监督学习，大大提高了模型的表现。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值