同样的小程序,在不修改程序的前提下,不同环境下,运行效率大约有10倍的差距。
import time
import os
import pandas as pd
def main():
os.system("d:\yypy\yaoseekdata202301.py") ### 网络上爬取数据,5个不同内容的数据,每个数据大约1M,分别是2000多条记录或者6000多条记录,每条记录8~10个数据
kkk=['d:\yypy\yydlt.xls','d:\yypy\yyssq.xls','d:\yypy\yyplw.xls','d:\yypy\yypls.xls','d:\yypy\yy3d.xls']
for yykk in kkk:
data=pd.read_excel(yykk)
print(data.head(2)) ####打印出前两条数据,看是不是最新的数据
os.system("d:\yypy\yy2023dltssq01-sum.py") ##统计分析第一部分数据
os.system("d:\yypy\yy2023pls3dplw-sum.py ") ##统计分析第二部分数据
print('ok')
if __name__=="__main__":
main()
yaoseekdata202310.py, yao2023dktssq01-sum.py, yao2023pl3dplw-sum.py 是三个小程序,分别是网络读取数据以及分别统计分析数据。直接运行的话 分别要150秒、1800秒、2100秒,在os环境下运行,分别只要80秒、190秒、210秒。特别是统计分析数据部分 效率大大提高