【Py】数据处理速度对比

@《Go语言设计与实现》

---

在工作中难免要对数据进行各种各样的处理，在Python中，我接触到的数据处理工具包括Pandas、原生语法等等，在Pandas中我们需要对列表字典数据进行转换，转换为DataFrame，而使用原生语法则不需要进行转换。

添加新列

>>> myList = [{'a': 'A'}, {'b': 'B'}, {'c': 'C'}]
>>> %timeit for item in myList: item['elem']='value'
128 ns ± 3.73 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
>>> %timeit pd.DataFrame(myList)
>>> 257 µs ± 5.26 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
>>> %timeit df['elem'] = 'value'
36.4 µs ± 532 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

重命名某列

>>> myList = [{'a': 'A'}, {'b': 'B'}, {'c': 'C'}]
>>> %timeit for item in myList: item['d']=item.pop('a', ''); item['e']=item.pop('b', ''); item['f']=item.pop('c', '')
720 ns ± 11.7 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
>>> %timeit df.rename(columns={'a':'d','b':'e','c':'f'})
163 µs ± 1.68 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

参考：https://stackoverflow.com/a/67489505/7151777