【手把手教你用Python数据预处理】数据导入 | 数据查看 | 数据清洗 | 数据提取&筛选 | 数据排序 | 数据汇总&统计 | 数据标准化 | 数据存储_哔哩哔哩_bilibili
一、pandas库对csv文件进行筛选和保存
2.https://cloud.tencent.com/developer/article/2050916
1 .https://www.cnblogs.com/cyx-b/p/12897807.html
import pandas as pd
# 使用read_csv来打开指定的csv文件
df = pd.read_csv("E:\python\Workspace\pythonProject\data/Allved.csv")
# pandas中的to_csv,来将筛选出来的数据保存到新的csv文件中。
# 用法为表名. to_csv('所要保存地方的路径/表名.csv')
c.to_csv("E:\python\Workspace\pythonProject\data/Allved.csv",index=None)
二、pandas批量读取csv
https://www.cnblogs.com/raylan/p/15428890.html
import pandas as pd
import glob
import os
path = r'E:/python/Workspace/pythonProject/Basic learing/Economy/VED explore/VED_Data' # 批量表格所在位置
file = glob.glob(os.path.join(path, "VED_*.csv")) # 每一个表格相同名称部分
print(file)
dl = []
for f in file:
dl.append(pd.read_csv(f, index_col=None, encoding='ANSI')) #读取每个表格
df = pd.concat(dl) #合并
df
df.to_csv("E:/python/Workspace/pythonProject/data/Allved.csv") #保存本地
三、画图
1.使用padas
https://www.codenong.com/41825939/
2.使用matplotlib
搭建自己的回测系统(八)数据可视化初探 【坐标】
Matplotlib——设置风格_style.use()_上课不要睡觉了的博客-优快云博客_matplotlib.style.use
3.使用seaborn
手把手带你学习Python数据可视化_数学是算法的灵魂的博客-优快云博客_自学python数据可视化
【各种图表制作】
import pandas as pd
from matplotlib import pyplot as plt
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
import pprint
data = pd.read_csv('E:/python/Workspace/pythonProject/data/EV10_data.csv')
print("Input Data Information","\n")
print(data.info())
data.plot()
plt.show()
plt.figure()
x = data['HV Battery SOC[%]']
y = data['HV Battery Current[A]']
plt.plot(x, y)
plt.show()
from matplotlib import style
fig = plt.figure()
ax1 = plt.subplot2grid((1,1), (0,0))
style.use('ggplot')
sns.lineplot(x=data["HV Battery SOC[%]"], y=data["HV Battery Current[A]"], data=data) # padas数据值
sns.set(rc={'figure.figsize':(10,8)})
plt.xlabel("HV_Battery_SOC in %")
plt.ylabel("HV_Battery_Current")
plt.grid(True)
plt.legend()
for label in ax1.xaxis.get_ticklabels(): # 横坐标旋转90度
label.set_rotation(90)
plt.title("Energy Consumption")
plt.show()
sns.distplot(data["HV Battery SOC[%]"])
plt.title("Energy Distribution for State of Charge")
plt.show()
print("Dataset ",data.shape )