使用Pandas的迭代以及其他关于效率的一点记录
1.将Series转成DataFrame进行iterrows迭代(初学Pandas,开始不知道Series可以迭代)
计算强度 耗时: 464.36 秒
2.使用 Series.items(等同itertems()),迭代计算
计算强度 耗时: 50.41 秒
从这个结果看时间可能是消耗在Series转成DataFrame。
3.使用 Series.iter(),进行迭代计算,这个是只对序列的值进行迭代,我的计算刚好用不上index,测试了下很吃惊。
计算强度 耗时: 18.09 秒
iter,两边有下划线,上边的不知道为何显示不出来。看来只对values迭代,相对 index和values要快不少。
以上这些时间的记录还包含了其他的代码运行时间,如果刨除,将显示效率提高的更高。
4.对DataFrame使用drop删除操作
在iterrows迭代中进行对DataFrame的删除操作,如果符合条件,将当前行删除 drop(index)
转换15to30 耗时: 351.42 秒
在迭代中,将符合条件的index加入一个数列 list(index),迭代完成之后,进行删除操作,drop(list(index))
转换15to30 耗时: 7.11 秒
以上的这些巨大的提升使我震惊VQChwi4XYBzonNUSDJl0om7WlvE+WCTurz3njfeXmfM=\n,看来正确使用Pandas至关重要。02NJCs0l0ldoD1m1Jnxw11有效期20210322