第三次作业

一、程序分析

（1）读文件到缓冲区

def process_file(dst): # 读文件到缓冲区
try: # 打开文件
file = open(dst, 'r') # dst为文本的目录路径
except IOError as s:
print(s)
return None
try: # 读文件到缓冲区
bvffer = file.read()
except:
print("Read File Error!")
return None
file.close()
return bvffer

（2）处理缓冲区，返回存放每个单词频率的字典word_freq

def process_buffer(bvffer): # 处理缓冲区，返回存放每个单词频率的字典word_freq
if bvffer:
# 下面添加处理缓冲区bvffer代码，统计每个单词的频率，存放在字典word_freq
word_freq = {}
# 将文本内容都改为小写且去除文本中的中英文标点符号
for ch in '“‘!;,.?”':
bvffer = bvffer.lower().replace(ch, " ")
# strip()删除空白符（包括'/n', '/r','/t'）；split()以空格分割字符串
words = bvffer.strip().split()
for word in words:
word_freq[word] = word_freq.get(word, 0) + 1
return word_freq

（3）出现频率排在前十的单词

def output_result(word_freq): # 出现频率排在前十的单词
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print("单词:%s 频数:%d " % (item[0], item[1]))

（4）main函数

def main():
dst = "Gone_with_the_wind.txt" # 《Gone_with_the_wind》的路径，另一组测试更改为《A_Tale_of_Two_Cities》的路径
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)

（5）main函数调用及性能分析代码

if __name__ == "__main__":
main()

import cProfile
import pstats
#直接把分析结果打印到控制台
cProfile.run("main()", filename="result_out")
# 创建Stats对象
p = pstats.Stats('result_out')
# 输出调用此处排前十的函数
# sort_stats(): 排序
# print_stats(): 打印分析结果，指定打印前几行
p.sort_stats('calls').print_stats(10)
# 输出按照运行时间排名前十的函数
# strip_dirs(): 去掉无关的路径信息
p.strip_dirs().sort_stats("cumulative", "name").print_stats(10)

# 根据上面的运行结果发现函数process_buffer()最耗时间
# 查看process_buffer()函数中调用了哪些函数
p.print_callees("process_buffer")

二、代码规范说明

python3与python2在一些函数方面调用有区别：例如 python3在print函数的调用上是print（s），而python2在print函数的调用上是print “s”。老师给的示范代码是python2的，所以在用的时候要修改。

三、运行截图

Gone_with_the_wind文本词频统计结果

 

四、性能结果分析以及改进

选择对Gone_with_the_wind.txt进行性能分析

1）使用 cProfile 进行性能分析

1）指出寻找执行时间最多的部分代码

代码：

 

2）指出寻找执行次数最多的部分代码

代码：

 备注：ncalls：表示函数调用的次数；
           tottime：表示指定函数的总的运行时间，除掉函数中调用子函数的运行时间；
           percall：（第一个percall）等于 tottime/ncalls；
           cumtime：表示该函数及其所有子函数的调用运行的时间，即函数开始调用到返回的时间；
           percall：（第二个percall）即函数运行一次的平均时间，等于 cumtime/ncalls；
           filename:lineno(function)：每个函数调用的具体信息

（2）可视化操作

1）使用graphviz和gprof2dot.py，进行可视化操作，转换成下图：

 

转载于:https://www.cnblogs.com/jwh24/p/9763295.html