Python数据分析与机器学习-贝叶斯实现拼写检查器

最新推荐文章于 2022-04-27 21:05:37 发布

原创最新推荐文章于 2022-04-27 21:05:37 发布 · 679 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python数据分析与机器学习

python 专栏收录该内容

30 篇文章

订阅专栏

本文介绍了一种基于编辑距离的英文单词拼写纠正算法。该算法通过定义一系列字符串操作（如删除、交换、替换和插入），找出输入单词的正确拼写。首先从一个大语料库中提取单词并统计频次，然后利用这些统计信息来确定最可能的正确拼写。

源码下载：

http://download.youkuaiyun.com/download/adam_zs/10190240

import re
import collections


# 把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号
def words(text):
    new_words = re.findall('[a-z]+', text.lower())
    return new_words


# 统计每个单词出现的次数
def train(features):
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] = model[f] + 1
    return model


# 所有单词以及出现的次数
NWORDS = train(words(open('big.txt').read()))


# 返回所有编辑距离为1的单词集合
def edits1(word):
    alphabet = 'abcdefghijklmnopqrstuvwxyz'
    n = len(word)
    return set([word[0:i] + word[i + 1:] for i in range(n)] +  # deletion
               [word[0:i] + word[i + 1] + word[i] + word[i + 2:] for i in range(n - 1)] +  # transposition
               [word[0:i] + c + word[i + 1:] for i in range(n) for c in alphabet] +  # alteration
               [word[0:i] + c + word[i:] for i in range(n + 1) for c in alphabet])  # insertion


# 返回所有编辑距离为2的单词集合
def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1))


# 只把那些正确的词作为候选词
def known(words):
    return set(w for w in words if w in NWORDS)


# 如果known(set)非空, candidate 就会选取这个集合, 而不继续计算后面的
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    print(candidates)
    return max(candidates, key=lambda w: NWORDS[w])


print(correct('namg'))