- 博客(61)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 使用sqlalchemy报错__init__() got multiple values for argument ‘schema‘
使用sqlalchemy连接mysql报错
2023-02-01 10:21:03
7137
6
原创 pip安装太慢，使用各种镜像源
pip 安装第三方库速度太慢可设置 pip 从国内的镜像源下载安装阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣 http://pypi.douban.com/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
2022-12-09 10:45:43
922
原创 Pandas使用apply函数给表格添加多列_20
import numpy as npimport pandas as pd"""本节主要介绍如何使用apply函数给表格添加多列"""# 导入csvpath = './test.csv'df = pd.read_csv(path)# df.apply方法添加一列# 定义一个函数，返回一列def get_wendu_type(x): if x['bWendu'] > 33: return '高温' elif x['bWendu'] < -
2022-04-18 23:51:23
1682
原创 Pandas使用stack和pivot实现数据透视_19
import numpy as npimport pandas as pd"""本节主要介绍pandas使用stack和pivot实现数据透视目的：将列式数据变成二维交叉形式，便于分析，叫做重塑或透视1.经过统计得到多维度指标数据2.使用unstack实现数据的二维透视3.使用pivot实现简化透视4.stack、unstack、pivot的语法"""# 一、经过统计得到多维度指标数据"""非常场景的统计场景，指定多个维度，计算聚合后的指标实例：统计得到电影评分数据集，...
2022-04-18 23:50:27
248
原创 Pandas中如何对每个分组应用apply函数_18
import pandas as pdimport numpy as np"""本节主要介绍pandas怎样对每个分组应用apply函数groupby.apply(function)1.function的第一个参数是dataframe2.function的返回结果，可以是dataframe、series、单个值,甚至可以是和dataframe输入完全没关系本节展示：1.怎样对数值列按分组的归一化2.怎样取每个分组的topn数据"""# 一.怎样对数值列按分组的归一化rati.
2022-04-18 23:47:53
748
原创 Pandas中的数据转换函数map、apply、applymap_17
import pandas as pdimport numpy as np"""本节主要介绍pandas中的数据转换函数map、apply、applymap1.map:只用于series,实现每个值->每个值的映射2.apply:用于series实现每个值的处理，用于dataframe实现每个轴的series处理3.applymap:只用于dataframe,用于处理该dataframe的每个元素"""# 一、map用于Series值的转换"""实例：将股票代码英文转换为中文
2022-04-18 23:46:14
325
原创 Pandas如何使用分层索引MultiLndex_16
import numpy as npimport pandas as pd"""本节主要介绍pandas的分层索引MultiLndex"""stocks = pd.read_excel('./stock.xlsx')print(stocks.shape)print(stocks.head(3))# 对公司去重print(stocks['公司'].unique())print(stocks.index)print(stocks.groupby('公司')['收盘'].mean()).
2022-04-18 23:44:32
329
原创 Pandas中如何实现groupby分组统计_15
import numpy as npimport pandas as pd"""本节主要介绍pandas怎样实现groupby分组统计1.分组使用聚合函数做数据统计2.遍历groupby的结果理解执行流程3.实例分组探索天气数据"""df = pd.DataFrame({ 'A':['foo','bar','foo','bar','foo','bar','foo','foo'], 'B':['one','one','two','three','two','two','one
2022-04-18 23:43:06
694
原创 Pandas中如何批量拆分excel以及合并excel_14
import numpy as npimport pandas as pdimport os"""本节主要介绍使用pandas批量拆分excel和合并excel"""work_dir = './excel_split_merge'split_dir = f'{work_dir}/splits'if not os.path.exists(split_dir): os.mkdir(split_dir)# 0.读取源excel到pandasdf_source = pd.read_
2022-04-18 23:41:38
1076
原创 Pandas中的concat语法_13
import numpy as npimport pandas as pd"""本节主要介绍pandas中的merge语法使用的是知名的电影数据集，ratings.dat,users.dat,movies.dat"""df_rating = pd.read_csv( './rating.dat', sep='::', engine='python', names='UserID::MovieID::Rating::Timestamp'.split('::').
2022-04-18 23:40:01
143
原创 Pandas中的merge语法_12
import numpy as npimport pandas as pd"""本节主要介绍pandas中的merge语法使用的是知名的电影数据集，ratings.dat,users.dat,movies.dat"""df_rating = pd.read_csv( './rating.dat', sep='::', engine='python', names='UserID::MovieID::Rating::Timestamp'.split('::').
2022-04-18 23:38:42
378
原创 Pandas中的索引使用方法_11
import numpy as npimport pandas as pd"""本节主要介绍pandas中的indexindex的用途总结1.更方便的数据查询2.使用index可以获得性能提升3.自动的数据对其功能4.更多更强大的数据结构支持"""path = './test.csv'df = pd.read_csv(path)df.count()# 1.数据查询df.set_index('userid',inplace=True,drop=False) # drop=f
2022-04-18 23:08:06
309
原创 Pandas中对axis参数的理解_10
import numpy as npimport pandas as pd"""本节主要介绍pandas所使用的axis参数"""df = pd.DataFrame(np.arange(12).reshape(3,4),columns=['A','B','C','D'])#print(df)# 单列drop,删除某一列df.drop('A',axis=1)#print(df)# 单行删除，删除某一行df.drop(1,axis=0)#print(df)# 按照axis=.
2022-04-17 22:23:56
415
原创 Pandas对字符串的处理方法_9
import numpy as npimport pandas as pd"""本节主要介绍pandas对字符串的处理"""# 导入数据path = './test.csv'df = pd.read_csv(path)# 1.获取series的str属性，使用各种字符串处理函数(注意只能在string数据类型的列上调用str属性)str_1 = df['api'].str# 字符串替换函数str_2 = df['bwedu'].str.replace('C','')# 判断是.
2022-04-17 22:10:22
421
原创 Pandas对Series和Dataframe进行排序的方法_8
import numpy as npimport pandas as pd"""本节主要介绍series和dataframe的排序"""path = './test.csv'df = pd.read_csv(path)# 先修改温度值，去掉C并改为整数df.loc[:,'bWendu'] = df['bWendu'].astype(str).str.replace('C','').astype('int32')df.loc[:,'yWendu'] = df['yWendu'].as.
2022-04-17 22:06:20
353
原创 Pandas中settingwithopywarrning的报警复现，原因，解决方案_7
import pandas as pdimport numpy as np"""本节主要介绍settingwithopywarrning的报警复现，原因，解决方案"""# 导入csvpath = './test.csv'df = pd.read_csv(path)# 1.直接赋值# 先修改温度值，去掉C并改为整数df.loc[:,'bWendu'] = df['bWendu'].astype(str).str.replace('C','').astype('int32')df.lo
2022-04-17 21:55:35
313
原创 Pandas如何进行缺失值处理_6
import pandas as pdimport numpy as np"""本节主要介绍使用pandas进行缺失值处理"""path = './test.xlsx'df = pd.read_excel(path,skiprows=2) # skiprows=2代表的含义是越过两个空行# 将温度C去点，并转换为整数df.loc[:,'bwendu'] = df['bwendu'].astype(str).str.replace('C','').astype('int32')d.
2022-04-17 21:39:59
324
原创 Pandas的三种数据统计函数_5
import pandas as pdimport numpy as np"""1.汇总类统计2.唯一去重和按值计算3.相关系数和协方差"""path = './test.csv'df = pd.read_csv(path)# 去除温度的C符号，并转为整数df.loc[:,'bwendu'] = df['bwendu'].astype(str).str.repalce('C','').astype('int32')df.loc[:,'ywendu'] = df['ywendu
2022-04-17 21:23:34
291
原创 Pandas如何新增数据列的四种方法_4
"""pandas如何新增数据列1.直接赋值2.df.apply方法3.df.assign方法4.按条件选择分组分别赋值"""import pandas as pdimport numpy as np# 导入csvpath = './test.csv'df = pd.read_csv(path)# 1.直接赋值# 先修改温度值，去掉C并改为整数df.loc[:,'bWendu'] = df['bWendu'].astype(str).str.replace('C','').a
2022-04-17 21:21:57
2283
原创 Pandas查询数据的四种方式以及使用df.loc查询数据的五种方法_3
import numpy as npimport pandas as pd"""pandas查询数据的几种方法1.df.loc,根据行列标签值进行查询2.df.iloc,根据行列的数字位置进行查询3.df.where4.df.query*:.loc既能查询，又能覆盖写入pandas使用df.loc查询数据的方法1.使用单个label值进行查询2.使用值列表进行批量查询3.使用数值区间进行范围查询4.使用条件表达式进行查询5.使用函数进行查询注意：1.以上查询方法既适用于行
2022-04-17 21:20:57
6135
原创 Pandas中的Dataframe和Series两种数据结构_2
import numpy as npimport pandas as pd"""本节介绍pandas中的dataframe和series两种数据结构"""# 创建没有标签索引的seriesseries_1 = pd.Series([1, 2, 3, 'a'])# print(series_s)# 获取索引series_index = series_1.index# 获取数据series_values = series_1.values# 创建有标签索引的seriesserie
2022-04-17 21:17:48
476
原创 Pandas读取四种不同类型文件数据的方式_1
import pandas as pd"""本节是介绍使用pandas读取不同类型文件的数据"""file_path_csv = "./test.csv" # 文件内容是逗号分割# 读取csv(默认逗号分隔符，这样read_csv中的delimiter就不需要设置了)read_csv = pd.read_csv(file_path_csv)# 获取前几行数据df_head = read_csv.head(5) # 包括行索引index和列名column# 获取数据的形状,返
2022-04-17 21:16:11
1120
原创 pytorch入门22：完整的模型验证套路
"""目的：输入一张验证图片，定义之前训练时的网络结构，加载训练好的模型，验证模型是否准确预测输入图片的类别即可"""import torchimport torchvisionfrom PIL import Imagefrom torch import nnfrom torch.nn import Conv2d, MaxPool2d, Linear, Flattenimage_path = r'./dataset/train/ants/0013035.jpg'image = Im
2022-03-29 09:53:43
514
原创 pytorch入门21：在gpu上训练模型
"""网络模型，数据(输入，target)，损失函数可以使用gpu跑，直接调用.cuda()即可可以尝试使用Google Colab——用谷歌免费GPU跑你的深度学习代码"""import torchimport torchvisionfrom torch import nnfrom torch.nn import Conv2d, MaxPool2d, Flatten, Linearfrom torch.utils.data import DataLoader# 1.准备数据集并加载
2022-03-29 09:53:26
693
原创 pytorch入门20：准确率的使用
import torchoutput_1 = torch.tensor([[0.1,0.2], [0.05,0.4]],dtype=torch.float32)print(output_1.argmax(0)) # 参数设置为0，通过竖向寻找最大值，并获得最大值对应的索引output_2 = torch.tensor([[0.1,0.2], [0.3,0.4]],dtype=torch.float32)p
2022-03-28 20:20:14
518
原创 pytorch入门19：模型的完整训练套路
import torchimport torchvisionfrom torch import nnfrom torch.nn import Conv2d, MaxPool2d, Flatten, Linearfrom torch.utils.data import DataLoader# 1.准备数据集并加载from torch.utils.tensorboard import SummaryWritertrain = torchvision.datasets.CIFAR10('./to
2022-03-28 20:19:20
178
原创 pytorch入门18：构建后的模型保存和加载
"""这一节学会如何保存模型以及加载模型"""import torchimport torchvision#保存方法1 模型结构+模型参数#先保存from torch import nnvgg16 = torchvision.models.vgg16(pretrained=True)torch.save(vgg16,'vgg16.pth')#后加载# vgg16_load= torch.load('vgg16.pth')# print(vgg16_load)#保存方法2 模型
2022-03-28 20:19:04
150
原创 pytorch入门17：现有模型的使用和修改
import ssl"""这一节主要是学会怎么在现有模型上进行修改模型结构"""import torchvision# ssl._create_default_https_context = ssl._create_unverified_context # 全局取消证书验证# dataset = torchvision.datasets.ImageNet('../imagenet_data',split='train',download=True,transform=torchvision.
2022-03-28 20:18:39
406
原创 pytorch入门16：优化器的使用
import torch.optimimport torchvisionfrom torch import nnfrom torch.nn import Conv2d, MaxPool2d, Flatten, Linearfrom torch.utils.data import DataLoaderdataset = torchvision.datasets.CIFAR10('./torchvision_dataset',train=False,download=False,transform=
2022-03-28 20:18:22
169
原创 pytorch入门15：损失函数的使用
import torchfrom torch.nn import L1Lossfrom torch import nninput = torch.tensor([1,2,3],dtype=torch.float32)target = torch.tensor([1,2,5],dtype=torch.float32)# 使用reshape进行维度的变换input = torch.reshape(input,(1,1,1,3)) # 代表的是1个样本，通道为1，宽*高=1*3target
2022-03-28 20:18:08
258
原创 pytorch入门14：Sequential的使用
import torchfrom torch import nnfrom torch.nn import Conv2d, MaxPool2d, Linear, Flattenfrom torch.utils.tensorboard import SummaryWriterclass Zkl(nn.Module): def __init__(self): super(Zkl, self).__init__() # self.conv1 = Conv2d(3,
2022-03-28 20:17:47
274
原创 pytorch入门13：线性层的使用
import torchimport torchvisionfrom torch import nnfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10('',train=False,download=False,transform=torchvision.transforms.ToTensor()
2022-03-28 20:17:27
182
原创 pytorch入门12：非线性激活层的使用
import torchimport torchvisionfrom torch import nn# input = torch.tensor([[1,-0.5],# [-1,3]],dtype=torch.float32)## #print(input.shape)## input = torch.reshape(input,(-1,1,2,2))# #print(input.shape)from torch.utils.data imp
2022-03-28 20:17:09
219
原创 pytorch入门11：最大池化层的使用
"""本节主要学会最大池化层的使用池化层大大减少了数据量"""import torchimport torchvisionfrom torch import nnfrom torch.nn import Conv2d, MaxPool2dfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR1
2022-03-28 20:16:23
286
原创 pytorch入门10：F.Conv2d和nn.Conv2d
import torchimport torch.nn.functional as F# 小括号里面有几个[]就代表是几维数据input = torch.tensor([[1,2,0,3,1], [0,1,2,3,1], [1,2,1,0,0], [5,2,3,1,1], [2,1,0,1,1]])kernel = torc
2022-03-27 15:54:07
2642
原创 pytorch入门9：学会nn.Module的使用
"""本节主要学会nn.Module的使用"""import torchfrom torch import nnfrom torch.autograd.grad_mode import Fclass Zkl(nn.Module): def __init__(self): super().__init__() def forward(self,x): x = x+1 return xzkl = Zkl()c=torch.
2022-03-27 15:51:19
375
原创 pytorch入门8：学会transform的使用
"""本节主要学会transform的使用"""from PIL import Imagefrom torchvision import transformsfrom torch.utils.tensorboard import SummaryWriter"""transforms是对数据进行一系列转换的模块比如输入一张图片->transforms工具箱（totensor/resize等等）->结果""""""transforms在python中的使用->tenso
2022-03-27 15:49:13
2840
原创 pytorch入门7：学会dataloader的使用
"""本节主要学会dataloader的使用"""import torchvisionfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWritertest_data = torchvision.datasets.CIFAR10("./torchvision_dataset",train=False,transform=torchvision.transforms.ToTenso
2022-03-27 15:45:55
859
原创 pytorch入门6：学会如何下载数据集，并通过tensorboard查看下载的数据集
"""本节学会如何下载数据集，并通过tensorboard查看下载的数据集"""import torchvisionimport sslfrom torch.utils.tensorboard import SummaryWriterssl._create_default_https_context = ssl._create_unverified_context # 全局取消证书验证# Compose中存放transforms列表，列表中有totensor和resize两种方法da
2022-03-27 15:44:20
1951
原创 pytorch入门5：学会如何对已经下载好的数据集进行重命名，并分割出特征
"""本节主要学会如何对已经下载好的数据集进行重命名，并分割出特征"""import osroot_dir = 'hymenoptera_data/train'target_dir = 'bees_image'image_path = os.listdir(os.path.join(root_dir,target_dir))label = target_dir.split('_')[0]out_dir = 'bees_label'for i in image_path: fil
2022-03-27 15:43:10
158
psycopg2_binary-2.8.6-cp37-cp37m-manylinux1_x86_64.whl
2021-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人