作业3

最新推荐文章于 2024-05-15 23:53:54 发布

weixin_30853329

最新推荐文章于 2024-05-15 23:53:54 发布

阅读量62

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/kkp8/p/10615628.html

本文介绍了一个简单的文本处理程序，该程序能够读取文件内容，并统计其中各个单词出现的频率，最后输出出现频率最高的十个单词。

胡伟业

2017035107065

程序分析说明

1.读文件到缓冲区

def process_file(dst):     
    try:     
        x = open(dst,"r")
    except IOError as s:
        print (s)
        return None
    try:     
        bvffer = x.read()
    except:
        print ("Read File Error!")
        return None
    x.close()

    return bvffer

2.下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        bvffer = bvffer.lower()    
        for ch in '“‘!;,.?”':  
           bvffer = bvffer.replace(ch, " ")
        words = bvffer.strip().split()
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1   
        return word_freq

3.输出top10的词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  
            print(item)

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

性能分析结果及改进情况

执行时间最长