ziuno的博客

SpellCorrection # 词典库 vocab = set([line.rstrip() for line in open('vocab.txt')]) # 需要生成所有候选集合 def generate_candidates(word): """ word: 给定的输入（错误的输入） 返回所有(valid)候选集合 """ # 生成编辑距离为...

Project1 Part 1: 搭建一个分词工具 Part 1.1 基于枚举方法来搭建中文分词工具 此项目需要的数据： 综合类中文词库.xlsx： 包含了中文词，当做词典来用 以变量的方式提供了部分unigram概率 word_prob 举个例子： 给定词典=[我们 学习 人工 智能 人工智能 未来 是]， 另外我们给定unigram概率：p(我们)=0.25, p(学习)=0.15, ...