python——贝叶斯拼写检查器_语料库中有没见过的词怎么办-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_43684773/article/details/105158559

文本预处理

要是遇到我们从来没有过见过的新词怎么办. 假如说一个词拼写完全正确, 但是语料库中没有包含这个词, 从而这个词也永远不会出现在训练集中. 于是, 我们就要返回出现这个词的概率是0. 这个情况不太妙, 因为概率为0这个代表了这个事件绝对不可能发生, 而在我们的概率模型中, 我们期望用一个很小的概率来代表这种情况. lambda: 1

import re, collections
# 把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号
def words(text): return re.findall('[a-z]+', text.lower()) 

# 统计单词出现次数
def train(features):
    model = collections.defaultdict(lambda: 1) #将键值默认设为1
    for f in features:
        model[f] += 1
    return model
 
NWORDS = train(words(open('big.txt').read()))

定义两词距离

两个词之间的编辑距离定义为使用了几次插入(在词中插入一个单字母), 删除(删除一个单字母), 交换(交换相邻两个字母), 替换(把一个字母换成另一个)的操作从一个词变到另一个词.

#返回所有与单词 w 编辑距离为 1 的集合
alphabet = 'abcdefghijklmnopqrstuvwxyz'
def edits1(word):
    n = len(word)
    return set([word[0:i]+word[i+1:] for i in range(n)] +                     # 删除
               [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + # 交换
               [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + # 改变
               [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])  # 插入


#返回所有与单词 w 编辑距离为 2 的集合
#在这些编辑距离小于2的词中间, 只把那些正确的词作为候选词
def edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1))

单词矫正

def known(words): return set(w for w in words if w in NWORDS)

#如果known(set)非空, candidate 就会选取这个集合, 而不继续计算后面的
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=lambda w: NWORDS[w])

代码总结

import re, collections
 
def words(text): return re.findall('[a-z]+', text.lower())  #取出所有的单词
 
def train(features):
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] += 1
    return model
 
NWORDS = train(words(open('big.txt').read()))
 
alphabet = 'abcdefghijklmnopqrstuvwxyz'
 
def edits1(word):
    n = len(word)
    return set([word[0:i]+word[i+1:] for i in range(n)] +                     # 删除
               [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + # 交换
               [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + # 改变
               [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])  # 插入
 
def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)
 
def known(words): return set(w for w in words if w in NWORDS)
 
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=lambda w: NWORDS[w]) #找到出现频率最大的词

重要函数整理

re.findall()：返回string中所有与pattern相匹配的全部字串，返回形式为数组
collections.defaultdict()：返回一个新的类似字典的对象
set()：创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等

x = set('runoob')
y = set('google')
x, y
#(set(['b', 'r', 'u', 'o', 'n']), set(['e', 'o', 'g', 'l']))   # 重复的被删除
x & y         # 交集
#set(['o'])
x | y         # 并集
#set(['b', 'e', 'g', 'l', 'o', 'n', 'r', 'u'])
x - y         # 差集
#set(['r', 'b', 'u', 'n'])