词频

最新推荐文章于 2019-10-17 14:13:11 发布

转载最新推荐文章于 2019-10-17 14:13:11 发布 · 100 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zhaoxinyu/p/10671574.html

学号：2017035107143

姓名：赵欣宇

码云仓库：https://gitee.com/zxy0308/word_frequency

2.程序分析

1）读取文件到缓冲区

def process_file(dst):     # 读文件到缓冲区
    try:     # 打开文件
        p = open(dst,"r")   
    except IOError as s:
        print (s)
        return None
    try:     # 读文件到缓冲区
        bvffer = p.read()
    except:
        print ("Read File Error!")
        return None
    p.close()

    return bvffer

2）处理缓冲区，统计单词频率，修改特殊符号

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        for fh in ',.!?+-_':
        #文本内容改为小写并去除符号
           bvffer = bvffer.replace(fh, " ")
        #删除两边空白符，并以空格分割字符串
        words = bvffer.strip().split()
        #循环判断，进行增值
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1
        
        return word_freq

3）输出频率前十的单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print(item)

4）执行函数

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

5）运行结果

大文件：Gone_with_the_wind.txt

转载于:https://www.cnblogs.com/zhaoxinyu/p/10671574.html