17、Python编程：函数高级应用与程序开发

Python编程：函数高级应用与程序开发

1. 计算高频词的函数设计

在处理文本时，计算高频词是一项常见的任务。下面是一个设计良好的函数 freq_words ，用于计算给定URL文本中单词的频率分布：

def freq_words(url):
    freqdist = nltk.FreqDist()
    text = nltk.clean_url(url)
    for word in nltk.word_tokenize(text):
        freqdist.inc(word.lower())
    return freqdist

使用示例：

>>> fd = freq_words(constitution)
>>> print fd.keys()[:20]
['the', 'of', 'charters', 'bill', 'constitution', 'rights', ',',
'declaration', 'impact', 'freedom', '-', 'making', 'independence']

实际上，这个函数的工作可以简化为三行代码：

>>> words = nltk.word_tokenize(nltk.clean_url(constitution))
>>