lining9508的博客

本文对pandas支持的一些数据格式进行IO（读写）的性能测试，大数据时代以数据为基础，经常会遇到操作大量数据的情景，数据的IO性能尤为重要，本文对常见的数据格式csv、feather、hdf5、jay、parquet、pickle性能进行对比。

本文主要介绍一个仪表数据生成思路和程序，主要用于仪表识别中数据量过少，不能支撑数据集制作和编程的情况。如下图，一种仪表数据可能只有几十张甚至几张相应图像。可以通过本文程序进行生成相应数据，进行数据的扩充。

一、准备相应的材料本教程需要的文件如下表所示：文件名简介作用Anaconda3-2021.05-Windows-x86_64.exeAnaconda的安装包配置管理python环境Miniconda3-py39_4.9.2-Windows-x86_64.exe精简版的Anaconda的安装包（电脑配置较差时使用）配置管理python环境pycharm-community-2021.1.3.exePyCharm安装包Python代码的编辑器以上文件可在链