Python-编辑距离-拼写检查

21行python代码实现拼写检查器 引入大家在使用谷歌或者百度搜索时,输入搜索内容时,谷歌总是能提供非常好的拼写检查,比如你输入 speling,谷歌会马上返回 spelling。 下面是用21行python代码实现的一个简易但是具备完整功能的拼写检查器。代码import re, collectionsdef words(text): return re.findall('[a-z]+', text.lower()) def tra 阅读详情

编辑距离

是针对二个字符串的差异程度的量化量测,量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串。
编辑距离有几种不同的定义,差异在可以对字符串进行的处理。

  • 在莱文斯坦距离中,可以删除、加入、取代字符串中的任何一个字元
  • Damerau-Levenshtein 距离是一种莱文斯坦距离的变种,允许字符转置,如【AB→BA】的距离是1
  • LCS(最长公共子序列)距离只允许删除、加入字元
  • Jaro距离只允许字符转置
  • 汉明距离只允许取代字元

遍历词库,全量计算编辑距离

from nltk.corpus import words  # 英文词库,需要下载
words = set(words.words())
print('词汇量:%d' % len(words))

def edit_distance(w1, w2):
    l1, l2 = len(w1) + 1, len(w2) + 1
    matrix = [[0 for j in range(l2)] for i in range(l1)]
    for i in range(l1):
        matrix[i][0] = i
    for j in range(l2):
        matrix[0][j] = j
    for i in range(1, l1):
        for j in range(1, l2):
            delta = 0 if w1[i - 1] == w2[j - 1] else 1
            matrix[i][j] = min(matrix[i - 1][j - 1] + delta,
                               matrix[i - 1][j] + 1,
                               matrix[i][j - 1] + 1)
    return matrix[-1][-1]

while True:
    w1 = input('输入:').strip()
    if w1 in words:
        print('合法单词')
    else:
        suggestion = ' '.join(
            w2 for w2 in words if edit_distance(w1, w2) < 2)
        print(suggestion)

先生成指定编辑距离的词,再行匹配

from nltk.corpus import wordnet  # 单词合法性判断,需要下载
correct = lambda w_set: ' '.join(w for w in w_set if wordnet.synsets(w))
letters = 'abcdefghijklmnopqrstuvwxyz'

# 生成编辑距离为1的单词
def edit_one(word):
    le = len(word)
    adds = {word[:i] + c + word[i:] for i in range(le + 1) for c in letters}
    deletes = {word[:i] + word[i + 1:] for i in range(le)}
    replaces = {word[:i] + c + word[i + 1:] for i in range(le) for c in letters}
    return adds | deletes | replaces

# 生成编辑距离为2的单词
def edit_two(word):
    s = edit_one(word)
    for w in edit_one(word):
        s |= edit_one(w)
    return s

while True:
    w1 = input('输入:').strip()
    if wordnet.synsets(w1):
        print('合法单词')
    else:
        suggestion = correct(edit_two(w1))
        print(suggestion)

时间复杂度比较

from time import time
from nltk.corpus import words
words = set(words.words())
print('词汇量:%d' % len(words))
letters = 'abcdefghijklmnopqrstuvwxyz'


def timer(f, w):
    t = time()
    result = f(w)
    print('%s:\033[033m%.2f秒\033[0m' %
          (f.__doc__, time() - t))
    return result


def edit_distance(w1, w2):
    """编辑距离计算"""
    l1, l2 = len(w1) + 1, len(w2) + 1
    matrix = [[0 for j in range(l2)] for i in range(l1)]
    for i in range(l1):
        matrix[i][0] = i
    for j in range(l2):
        matrix[0][j] = j
    for i in range(1, l1):
        for j in range(1, l2):
            delta = 0 if w1[i - 1] == w2[j - 1] else 1
            matrix[i][j] = min(matrix[i - 1][j - 1] + delta,
                               matrix[i - 1][j] + 1,
                               matrix[i][j - 1] + 1)
    return matrix[-1][-1]


def edit_one(word):
    """生成编辑距离为1的词"""
    le = len(word)
    adds = {word[:i] + c + word[i:] for i in range(le + 1) for c in letters}
    deletes = {word[:i] + word[i + 1:] for i in range(le)}
    replaces = {word[:i] + c + word[i + 1:] for i in range(le) for c in letters}
    return adds | deletes | replaces


def edit_two(word):
    """生成编辑距离为2的词"""
    s = edit_one(word)
    for w in edit_one(word):
        s |= edit_one(w)
    return s


def suggest_1(w1):
    """【方法1】遍历词库,返回编辑距离<=2的词"""
    return {w2 for w2 in words if edit_distance(w1, w2) < 3}


def suggest_2(word):
    """【方法2】生成编辑距离<=2的词后匹配词库"""
    return {w for w in edit_two(word) if w in words}


while True:
    w = input('输入:').strip()
    if w in words:
        print('合法单词')
    else:
        print(timer(suggest_1, w))
        print(timer(suggest_2, w))

编辑距离在拼写检查中的应用:从原理到实现 本文旨在全面介绍编辑距离(Edit Distance)算法及其在拼写检查系统中的应用。我们将从基本概念讲起,逐步深入到算法实现和优化策略,最终展示一个完整的拼写检查器实现。核心概念与联系:解释编辑距离的基本原理算法原理与实现:详细分析动态规划解决方案实际应用案例:构建一个简单的拼写检查器优化与扩展:讨论性能提升和高级应用总结与展望:回顾要点并探讨未来方向编辑距离:将一个字符串转换为另一个字符串所需的最少单字符编辑操作次数Levenshtein距离。 阅读详情

相关推荐

基于编辑距离的英文文本拼写检查器

Java代码实现的英文拼写检查器,基于编辑距离实现。

最短编辑距离问题

一、问题分析 1.1 问题描述 编辑距离是针对二个字符串的差异程度的量化量测,量测方式是看至少需要多少次处理才能将一个字符串变成另一个字符串。编辑距离可以用在自然语言处理中,最短编辑距离算法,用于对用户输入的查询进行纠错,从而优化查询结果。例如拼写检查可以根据一个拼错的字和其他正确的字的编辑距离,判断哪一个(或哪几个)是比较可能的字。 具体点来说,什么是最短编辑距离呢?假定有两个字符串l1和l2,允许对字符串进行以下三种操作: 1. 插入一个字符 2. 删除一个字符 3. 替换一个字符 将字.

yu_peiying的博客 2686

pyxDamerauLevenshtein:pyxDamerauLevenshtein在Cython中为Python实现了Damerau-Levenshtein(DL)编辑距离算法,以实现高性能

pyxDamerauLevenshtein 执照 该软件已获得。 请参阅单独的文件以获取许可证的确切文本。 如果您使用此代码,则必须注明出处。 关于 pyxDamerauLevenshtein在Cython中为Python实现了Damerau-Levenshtein(DL)编辑距离算法,以实现高性能。 礼貌: 在信息论和计算机科学中,Damerau-Levenshtein距离(以Frederick J. Damerau和Vladimir I. Levenshtein命名)是两个字符串之间的“距离”(字符串度量),即符号的有限序列,通过计算最小值将一个字符串转换为另一个字符串所需的操作数,其中一个操作定义为单个字符的插入,删除或替换,或者两个相邻字符的转置。 此实现基于,该实现实现了。 它使用O(M)空间以O(N*M)时间运行。 它支持unicode字符。 要求 此代码需要Python

python 编辑距离_如何计算树编辑距离?

hoonto..5我根据现有的PyGram Python代码(https://github.com/Sycondaman/PyGram)编写了一个实现(https://github.com/hoonto/jqgram.git)给那些希望使用树编辑距离的人在浏览器和/或Node.js中使用PQ-Gram算法进行近似.jqgram树编辑距离近似模块为服务器端和浏览器端应用程序实现PQ-Gram算法; ...

weixin_39955938的博客 566

树编辑距离的 Python APTED算法_python_代码_下载

这是 APTED 算法的 Python 实现,它是计算树编辑距离的最先进的解决方案 ,它取代了 RTED 算法 输入 目前,我们只支持输入树的所谓括号表示法,例如,编码{A{B{X}{Y}{F}}{C}}对应于以下树: A / \ B C /|\ X Y F 输出 我们的工具计算两个输出: 树编辑距离值 - 将源树转换为目标树的最小成本。 树编辑映射- 对应于树编辑距离值的节点之间的映射。未映射的节点将被删除(源树)或插入(目标树)。

Camera | 瑞芯微rk3568平台MIPI-CSI驱动:从设备树到V4L2框架的完整链路解析

本文深入解析瑞芯微rk3568平台MIPI-CSI驱动的完整链路,从设备树配置到V4L2框架集成。详细介绍了rk3568的MIPI-CSI驱动架构、设备树关键节点布局、驱动初始化流程及数据流路径,帮助开发者快速掌握摄像头控制器的调试与优化技巧,实现稳定的视频采集系统。

weixin_28703489的博客 292

最小编辑距离 (MED)实现-Python

最小编辑距离 (MED) 就是指将一个字符串通过插入、删除和替换的编辑操作转变为另一个字符串所需要的最小的编辑次数。本文介绍了使用动态规划算法实现计算两个字符串MED的过程,并提供了实验过程中源码。

qq_40481602的博客 2234

从ResNet到EfficientNet:特征金字塔网络(FPN)在不同骨干网中的适配指南

本文深入探讨了特征金字塔网络(FPN)与ResNet、VGG、EfficientNet等主流骨干网络的适配策略。文章详细解析了FPN的核心原理,并针对不同骨干网络的特征提取特性,提供了通道对齐、参数量估算及迁移学习的系统化指南,旨在帮助开发者在目标检测等视觉任务中构建高性能、高效率的模型。

weixin_29047919的博客 222

别光背动态规划了!用Python手写一个编辑距离算法,搞定拼写检查和模糊搜索

本文详细介绍了如何使用Python实现编辑距离(Levenshtein Distance)算法,从基础动态规划解法到空间优化版本,并展示了其在拼写检查和模糊搜索中的实际应用。通过实战案例和性能优化技巧,帮助开发者快速掌握这一核心技术,提升搜索系统的用户体验。

weixin_30294295的博客 557

C#---第十一课:对列表的各种操作,添加、删除、排序、列表长度、获取元素的索引、FirstOrDefault()、SingleOrDefault()、last()

1.添加元素 2.删除元素 (1)删除列表中指定的元素 (2)删除列表A中所有与列表B相交的元素---常规 (3)删除列表A中所有与列表B相交的元素---lambda 3.排序(正序、倒序) 4.获取列表的最大容量(长度)、已用容量 6.获取元素在列表中的位置(index) 7.判断某元素是否在列表List中 8.获取列表中第一个元素First() & FirstOrDefault() 9.获取列表中唯一元素Single() & SingleOrDefault() 10.获取列表中最后一个元素

Alien-Hu 3630

RK3588 平台imx334 驱动调试记录

rk3588调试imx334

xiaoning132的专栏 1791

python拼写检查_Python&Bayes——探源Google拼写检查器

前两天配好python的环境和IDE之后,今天便想着做点什么来练练手。看来看去,还是觉得Google的拼写检查器比较有意思,而且原理易理解,实现起来也不算难,同时写完这篇博客后对于python的基础语法也有了进一步的巩固和提升。Google快速高质量的拼写检查器背后其实是一个有千亿级数量词汇的语料库的支撑,庞大的数据集的训练可以使得它的拼写纠错准确度达90%以上。那么,这个拼写检查系统究竟是如何根...

weixin_39575212的博客 231

YOLOv8多传感器融合技术——摄像头阵列融合技术详解

本文详细介绍了基于YOLOv8的摄像头阵列融合技术,该技术通过多摄像头协同工作实现360度无死角环境感知。文章阐述了系统原理,包括全方位视野覆盖、冗余设计和深度感知等优势,并提供了完整的Python实现代码。关键技术涵盖多摄像头检测、立体匹配、3D投影和目标融合等模块,支持时间域融合提升稳定性。该系统可显著提高自动驾驶的环境感知能力,减少检测盲区,增强系统可靠性,是L4-L5级自动驾驶的关键技术之一。文章还展示了城市驾驶场景的实际应用,验证了该技术对复杂交通环境的适应能力。

u010117029的博客 214

自然语言处理-拼写检查

拼写检查则是根据预设的编辑距离阈值,从英文词库中搜索最小编辑距离不超过阈值的所有单词,将其罗列出来作为候选项或是从所有符合条件的词中输出一个最有可能的词。 最小编辑距离的含义为使一个字符串变成另外一个字符串而进行的插入、删除、更新或相邻字符交换位置而进行的最少操作次数。

YYANyk的博客 840

系统架构设计师备考攻略

计算机软件资格考试是由国家人力资源和社会保障部、工业和信息化部领导下的国家级考试。 软考没有学历、专业、年龄、相关工作经验要求,你可以根据自身选择合适的去报名(也就是说你直接直接报高级),但是一次考试只能报一种。 计算机软件资格考试纳入全国专业技术人员职业资格证书制度的统一规划,实行统一大纲、统一试题、统一标准、统一证书的考试办法,每年举行两次。通过考试获得证书的人员,表明其已具备从事相应专业岗位工作的水平和能力,用人单位聘任相应专业技术职务(助理工程师、工程师、高级工程师)。

帅次的博客 7184

python:实现矩阵SVD分解(附完整源码)

python:实现矩阵SVD分解(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 605

自然语言处理(NLP)实验——计算编辑距离

计算两个英语(或汉语)字串的编辑距离;在此基础上实现一个英语单词拼写检查程序,如果单词拼写错误,则给出纠错结果。

Moonee_ 1169

13、数据来源介绍与操作指南

本文详细介绍了多种数据源的特点、操作步骤及适用场景,包括元数据数据源、MongoDB数据源、Pentaho Data Integration数据源、OLAP数据源、Pentaho分析数据源和OLAP4J数据源。通过流程图和表格对比,帮助用户理解不同数据源的选择与使用方法,并提供了实际应用案例和注意事项,旨在提升数据获取与分析效率,支持高效报告生成。

ik678901234的博客 153

python 编辑距离_python编辑距离

广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元!本文搜集了网上比较常用的几种计算levenshtein distance的函数,其中函数(1)为调用数学工具包numpy, 函数(2)和(1)算法类似,都是采用dp,(3)来自wiki(4)是直接调用python的第三方库levenshtein源码和结果如下:import timef...

weixin_39533280的博客 734

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

编辑距离python代码实现,在Python中编辑距离

I'm programming a spellcheck program in Python. I have a list of valid words (the dictionary) and I need to output a list of words from this dictionary that have an edit distance of 2 from a given inv...

weixin_39543478的博客 110

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

拼写检查器

面向对象的拼写检查器 class SpellCheck(object):#拼写纠错 def __init__(self,file_name): content = open(file_name).read() self.words = re.findall('[a-zA-Z]+',content) self.alphabet = 'abcde...

景霄之上的博客 462

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

贝叶斯实现拼写检查器

正常来说把一个元音拼成另一个的概率要大于辅音(因为人常常把hello打成hallo);把单词的第一个字母拼错的概率会相对小,等等。但是为了简单起见,选择了一个简单的方法:编辑距离为1的正确单词比编辑距离为2的优先级高,而编辑距离为0的正确单词优先级比编辑距离为1高。两个词之间的编辑距离定义为使用了几次插入(在词中插入一个单字母),删除(删除一个单字母),交换(交换相邻两个字母),替换(把一个字母换成另一个)的操作从一个词变到另一个词。:在这些编辑距离小于2的词中间,只把那些正确的词作为候选词。

weixin_73044854的博客 1490

20来行的Python拼写检查器

介绍了一个基于贝叶斯方法的Python写的20来行的拼写检查器

FinixLei的专栏 (https://github.com/FinixLei) 3576

python 拼写检查

无意中刷微博看到这篇文章http://python.jobbole.com/81675/作者用很简短的语句写了一个拼写检查的python程序。看完之后发现原来拼写检查的原理是这样的,之前感觉应该是很高深的东西。但是由于对python中lambda表达式的不怎么理解于是,我就又凭着自己的理解简单的写了一遍。没有原文中作者的优化部分,只是简单的实现了功能。而且是只有文章中提到的编译距离1以内的情况。

Win_Man的专栏 1129

怎样写一个拼写检查器

转载:http://blog.youxu.info/spell-correct.html   怎样写一个拼写检查器 Peter Norvig 翻译: Eric You XU 上个星期, 我的两个朋友 Dean 和 Bill 分别告诉我说他们对 Google 的快速高质量的拼写检查工具感到惊奇. 比如说在搜索的时候键入 [speling], 在不到 0.1 秒的时

New Start 1408
上一篇: 中国省市经纬度Python版
下一篇: Python词性标注HMM+viterbi实现
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值