17、Python编程进阶：函数、模块与错误处理

Python编程进阶：函数、模块与错误处理

1. 计算高频词的函数设计

在处理文本数据时，计算高频词是一项常见任务。下面是一个精心设计的函数 freq_words ，用于计算给定URL文本中单词的频率分布：

def freq_words(url):
    freqdist = nltk.FreqDist()
    text = nltk.clean_url(url)
    for word in nltk.word_tokenize(text):
        freqdist.inc(word.lower())
    return freqdist

fd = freq_words(constitution)
print fd.keys()[:20]

上述代码的输出结果可能如下：

['the', 'of', 'charters', 'bill', 'constitution', 'rights', ',', 'declaration', 'impact', 'freedom', '-', 'making', 'independence']

实际上，我们可以将 freq_words 的工作简化为三行代码：

words = nltk.word_tokenize(nltk.clean_url(constitution))
fd =