利用Python进行数据分析系列之——数据格式转换

最新推荐文章于 2023-06-07 20:45:06 发布

原创

最新推荐文章于 2023-06-07 20:45:06 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据可视化 #数据格式

本文介绍了如何使用Python将二维表格式的CSV数据转换为适合OD弦图绘制的二维数组格式。在数据预处理过程中，涉及CSV模块的使用，包括csv.reader()和csv.writer()函数，以及通过列表推导式和字典推导式来优化转换效率。此外，还讨论了time模块在计算程序执行时间中的应用。

待我学有所成，结发与蕊可好。@夏瑾墨 by Jooey

需求：将OD_Matrix_Weekday_BusyHourAM.csv转换成OD_Matrix_Weekday_BusyHourAM.json。
在数据可视化中，OD弦图要求以百分比的输入格式，也可以用具体的客流数值，但是需要修改一下绘图的js脚本。由于目前数据处理的结果主要是二维表形式的csv，与弦图要求的输入格式不一致，所以这里按照需求先进行额外的数据格式转换，OD_Matrix_Weekday_BusyHourAM.json 是站点之间的OD流量，这个例子json文件中每一行表示该站点到其他各个站点的客流占总客流的百分百，所以都是很小的数值。

这里写图片描述
json数据格式：二维数据，且每个数值为改站点对之间客流所占的百分百。
进行格式转换：从二维表–>二维数组

实现：下面讲方法：

#List.py    数据格式转换的python脚本
import sys  #导入系统相关的信息模块
import csv  #导入csv模块读取写入csv文件数据
myList = [([0] * 42) for i in range(42)]  #定义一个列表
x=0
y=0
sum = 0
with open(sys.argv[1]) as f:  #使用sys.argv[0]采集脚本名称
    f_tsv = csv.reader(f, delimiter='\t')