- 博客(182)
- 收藏
- 关注
RSS订阅转载 python的scripts里没有pip_python的scripts文件夹无pip等文件解决方法
(如果运行报importError：No module named setutools错误，则下载安装setuptools，方法：下载setuptools-38.2.4，https://pypi.python.org/pypi/setuptools#downloads，下载后以命令运行下载文件下的setup.py)，运行后在python安装路径下的scripts就可以看到有easy_install类的文件。下载后解压放在scripts文件夹，以命令运行下载文件下的setup.py。
2022-11-03 19:23:21
6073
1
转载 使用豆瓣源安装keras_CPU
tensorflow和keras版本对应关系tensorflow和keras安装conda create -n kerasCPU python=3.7pip install tensorflow2.2.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.compip install keras2.3.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.co
2022-10-31 22:20:38
528
转载 Python 实现定时任务的八种方案！
来源：https://www.biaodianfu.com/python-schedule.html在日常工作中，我们常常会用到需要周期性执行的任务，一种方式是采用Linux系统自带的crond结合命令行实现。另外一种方式是直接使用Python。接下里整理的是常见的Python定时任务的实现方式。...
2022-08-26 09:15:35
721
转载 pytorch打包exe出现WARNING: file already exists but should not: C:\Users\workAI\AppData\Local\Temp\_MEI13
WARNING: file already exists but should not: C:\Users\workAI\AppData\Local\Temp\_MEI132522\torch\_C
2022-07-25 17:15:08
2622
1
转载 pyinstaller：打包之后执行exe报错ModuleNotFoundError
报错信息：ModuleNotFoundError: No module named ‘sklearn’在本地运行是没有问题的，打包后执行exe会报这个错误，找不到sklearn，实际已经pip过了解决：1、打开.spec文件，将缺失模块添加到hiddenimports=['sklearn']2、生成新的exe程序pyinstaller holiday_pred.spec3、再次运行exe成功不断去生成新的exe，直到不报错为止。例如：hiddenimports=[‘sklearn’,
2022-05-19 22:34:23
2077
3
转载 Python CSV文件导入MySQL数据库
转载：https://www.jianshu.com/p/051ea1f43445利用Python将CSV文件导入至Mysql数据库，如果不存在表名，则自动创建；如果存在数据表，则替换（可以在代码中设置），主要使用pymysql，pandas包。# -*- coding:UTF-8 -*-import pymysqlimport pandas as pdfrom sqlalchemy import create_engine# 数据库信息mysql_setting = { 'hos
2022-05-18 22:01:00
5302
3
转载 第七章：PyTorch可视化
PyTorch模型定义与进阶训练技巧notebook配套教程第五章和第六章，将结合U-Net模型来探索PyTorch的模型定义方式和进阶训练技巧。下方每个“Point”对应于教程中每一节的内容。import osimport numpy as npimport collectionsimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torchvisionPoint 1：模型定义方式PyTorc
2022-05-08 11:33:11
2608
1
转载 第六章：PyTorch进阶训练技巧3
链接6.4 半精度训练我们提到PyTorch时候，总会想到要用硬件设备GPU的支持，也就是“卡”。GPU的性能主要分为两部分：算力和显存，前者决定了显卡计算的速度，后者则决定了显卡可以同时放入多少数据用于计算。在可以使用的显存数量一定的情况下，每次训练能够加载的数据更多（也就是batch size更大），则也可以提高训练效率。另外，有时候数据本身也比较大（比如3D图像、视频等），显存较小的情况下可能甚至batch size为1的情况都无法实现。因此，合理使用显存也就显得十分重要。我们观察PyTorc
2022-05-07 20:41:02
950
转载 第六章：PyTorch进阶训练技巧2
链接6.2 动态调整学习率学习率的选择是深度学习中一个困扰人们许久的问题，学习速率设置过小，会极大降低收敛速度，增加训练时间；学习率太大，可能导致参数在最优解两侧来回振荡。但是当我们选定了一个合适的学习率后，经过许多轮的训练后，可能会出现准确率震荡或loss不再下降等情况，说明当前学习率已不能满足模型调优的需求。此时我们就可以通过一个适当的学习率衰减策略来改善这种现象，提高我们的精度。这种设置方式在PyTorch中被称为scheduler，也是我们本节所研究的对象。经过本节的学习，你将收获：如何
2022-05-07 17:34:07
444
转载 第六章：PyTorch进阶训练技巧1
6.1 自定义损失函数PyTorch在torch.nn模块为我们提供了许多常用的损失函数，比如：MSELoss，L1Loss，BCELoss… 但是随着深度学习的发展，出现了越来越多的非官方提供的Loss，比如DiceLoss，HuberLoss，SobolevLoss… 这些Loss Function专门针对一些非通用的模型，PyTorch不能将他们全部添加到库中去，因此这些损失函数的实现则需要我们通过自定义损失函数来实现。另外，在科学研究中，我们往往会提出全新的损失函数来提升模型的表现，这时我们既无
2022-05-07 16:50:59
167
转载 第五章：PyTorch模型定义2
5.3 PyTorch修改模型除了自己构建PyTorch模型外，还有另一种应用场景：我们已经有一个现成的模型，但该模型中的部分结构不符合我们的要求，为了使用模型，我们需要对模型结构进行必要的修改。随着深度学习的发展和PyTorch越来越广泛的使用，有越来越多的开源模型可以供我们使用，很多时候我们也不必从头开始构建模型。因此，掌握如何修改PyTorch模型就显得尤为重要。本节我们就来探索这一问题。经过本节的学习，你将收获：如何在已有模型的基础上：修改模型若干层添加额外输入添加额外输出5.3.
2022-05-06 21:01:50
503
转载 第五章：PyTorch模型定义1：补充
链接PyTorch 中的 ModuleList 和 Sequential: 区别和使用场景PyTorch 中有一些基础概念在构建网络的时候很重要，比如 nn.Module, nn.ModuleList, nn.Sequential，这些类我们称之为容器 (containers)，因为我们可以添加模块 (module) 到它们之中。nn.ModuleList首先说说 nn.ModuleList 这个类，你可以把任意 nn.Module 的子类 (比如 nn.Conv2d, nn.Linear 之类的)
2022-05-06 18:26:42
180
转载 第五章：PyTorch模型定义1
链接5.1 PyTorch模型定义的方式模型在深度学习中扮演着重要的角色，好的模型极大地促进了深度学习的发展进步，比如CNN的提出解决了图像、视频处理中的诸多问题，RNN/LSTM模型解决了序列数据处理的问题，GNN在图模型上发挥着重要的作用。当我们在向他人介绍一项深度学习工作的时候，对方可能首先要问的就是使用了哪些模型。因此，在PyTorch进阶操作的第一部分中，我们首先来学习PyTorch模型相关的内容。在第一部分课程的第三章中，我们已经学习了模型中的“层“是如何定义的，以及基础的模型是如何构建
2022-05-06 17:15:27
256
转载 第四章：PyTorch基础实战
链接基础实战——FashionMNIST时装分类我们这里的任务是对10个类别的“时装”图像进行分类，使用FashionMNIST数据集（https://github.com/zalandoresearch/fashion-mnist/tree/master/data/fashion ）。上图给出了FashionMNIST中数据的若干样例图，其中每个小图对应一个样本。FashionMNIST数据集中包含已经预先划分好的训练集和测试集，其中训练集共60,000张图像，测试集共10,000张图像。每张图像
2022-05-06 16:32:57
263
转载 第三章：PyTorch的主要组成模块4
链接3.7 训练和评估完成了上述设定后就可以加载数据开始训练模型了。首先应该设置模型的状态：如果是训练状态，那么模型的参数应该支持反向传播的修改；如果是验证/测试状态，则不应该修改模型参数。在PyTorch中，模型的状态设置非常简便，如下的两个操作二选一即可：model.train() # 训练状态model.eval() # 验证/测试状态我们前面在DataLoader构建完成后介绍了如何从中读取数据，在训练过程中使用类似的操作即可，区别在于此时要用for循环读取DataLo
2022-05-06 10:55:55
182
转载 第三章：PyTorch的主要组成模块3
3.6 损失函数在深度学习广为使用的今天，我们可以在脑海里清晰的知道，一个模型想要达到很好的效果需要学习，也就是我们常说的训练。一个好的训练离不开优质的负反馈，这里的损失函数就是模型的负反馈。所以在PyTorch中，损失函数是必不可少的。它是数据输入到模型当中，产生的结果与真实标签的评价指标，我们的模型可以按照损失函数的目标来做出改进。下面我们将开始探索pytorch的所拥有的损失函数。这里将列出PyTorch中常用的损失函数（一般通过torch.nn调用），并详细介绍每个损失函数的功能介绍、数学公式
2022-05-06 10:31:56
190
转载 第三章：PyTorch的主要组成模块2
3.4 模型构建3.4.1 神经网络的构造PyTorch中神经网络构造一般是基于 Module 类的模型来完成的，它让模型构造更加灵活。Module 类是 nn 模块里提供的一个模型构造类，是所有神经⽹网络模块的基类，我们可以继承它来定义我们想要的模型。下面继承 Module 类构造多层感知机。这里定义的 MLP 类重载了 Module 类的 init 函数和 forward 函数。它们分别用于创建模型参数和定义前向计算。前向计算也即正向传播。import torchfrom torch impo
2022-05-06 10:02:37
183
转载 第三章：PyTorch的主要组成模块1
链接3.1 思考：完成深度学习的必要部分回顾我们在完成一项机器学习任务时的步骤，首先需要对数据进行预处理，其中重要的步骤包括数据格式的统一和必要的数据变换，同时划分训练集和测试集。接下来选择模型，并设定损失函数和优化函数，以及对应的超参数（当然可以使用sklearn这样的机器学习库中模型自带的损失函数和优化器）。最后用模型去拟合训练集数据，并在验证集/测试集上计算模型表现。深度学习和机器学习在流程上类似，但在代码实现上有较大的差异。首先，由于深度学习所需的样本量很大，一次加载全部数据运行可能会超出内存
2022-05-05 11:03:22
244
转载 第二章：PyTorch基础知识2
2.2 自动求导PyTorch 中，所有神经网络的核心是 autograd 包。autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义 ( define-by-run ）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。torch.Tensor 是这个包的核心类。如果设置它的属性 .requires_grad 为 True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward()，来自动计算所有的梯度。这个张量的所有梯度将会自
2022-05-05 10:19:00
568
转载 第二章：PyTorch基础知识1
链接PyTorch相关资源PyTorch之所以被越来越多的人使用，不仅在于其完备的教程，还受益于许多相关的资源，在这里，我们列举了相关的优质资源希望能帮助到各位同学。Awesome-pytorch-list：目前已获12K Star，包含了NLP,CV,常见库，论文实现以及Pytorch的其他项目。PyTorch官方文档：官方发布的文档，十分丰富。Pytorch-handbook：GitHub上已经收获14.8K，pytorch手中书。PyTorch官方社区：在这里你可以和开发pytorch的人
2022-05-04 22:33:37
155
原创 附录C 卷积案例
附录C 卷积案例卷积常用于图像神经网络中，既可以作为分类器，也可以作为生成器。在设计卷积神经网络时，我们需要清楚每个卷积层输出数据的形状。在本附录中，我们将通过常用的卷积层配置，了解如何得出这些数据的形状。特别需要注意的是，转置卷积普遍被认为是较难掌握的。这里，我们将通过一些例子来证明它们并不难理解。这些例子都遵循了一个非常简单的窍门。C.1 例1: 卷积，步长为1，无补全在第1个例子中，输入图像大小为6×6，我们使用一个2×2的卷积核，步长为1上图显示了卷积核是如何沿着图像以步长1移动的。卷积
2022-05-03 22:21:32
2599
原创 附录B GAN学习可能性
附录B GAN学习可能性GAN到底能学到什么？这是一个很好的问题，但并没有一个显而易见的答案。接下来，我们将以不使用过多数学术语的方式，对GAN所学习的内容进行直观的解释。让我们先从GAN不能学习什么开始吧。B.1 GAN不会记忆训练数据GAN不会学习记忆训练数据中的实例，包括任何实例中的具体部分。对于由人脸图像组成的训练数据，这意味着生成器不会记忆眼睛、耳朵、嘴唇或鼻子等元素。另一方面，生成器不会直接看到训练数据。它所学习到的，只是来自鉴别器的反向传播误差反馈，而鉴别器本身只能做出图像真伪的二元
2022-05-03 21:27:21
256
原创 附录A 理想的损失值
附录A 理想的损失值在训练GAN时，我们希望达到的理想状态是，生成器与鉴别器之间达到平衡。这时，鉴别器无法区分真实数据与生成器生成的数据。因为生成器已经学会了生成看起来足以以假乱真的数据。我们来计算一下，当达到平衡时，鉴别器的损失值应该是多少。下面我们分别对均方误差（mean squared error, MSE）损失和二元交叉熵（binary cross entropy, BCE）损失进行计算。A.1 MSE损失均方误差损失的定义很简单。它先计算输出节点产生的值和预期的目标值之间的差值，也就是误差
2022-05-03 18:16:41
1240
原创 第3章 卷积GAN和条件式GAN：3.2 条件式GAN
3.2 条件式GAN之前，我们构建的MNIST GAN可以生成各种不同的输出图像。我们很好地避免了单一化和模式崩溃，它们是设计GAN时的主要挑战。如果能通过某种方式引导GAN生成多样化的图像，同时又仅限于生成训练数据中的一类图像，那将是非常有价值的。例如，我们可以要求GAN生成不同的、但都代表数字3的图像。又如，我们用人脸图像进行训练，如果情绪是训练数据中的一个类别，那么我们可以要求GAN只生成具有快乐表情的人脸图像。3.2.1 条件式GAN架构让我们构想一下这种架构会是什么样子的。如果希望让一
2022-05-03 17:31:53
1021
原创 jupyter notebook 内核挂掉
遇到问题：解决方法import osos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
2022-05-01 21:56:52
427
原创 第3章 卷积GAN和条件式GAN：3.1 卷积GAN2
3.1.7 CelebA CNN接下来，让我们将卷积层应用于GAN。CelebA数据集中的图像是217像素× 178像素的长方形。为了简化卷积过程，我们将使用128像素× 128像素的正方形图像。这意味着我们需要先对训练图像进行裁剪。以下代码是一个辅助函数，可以从一个numpy图像中裁剪任意大小的图像。裁剪的区域位于输入图像的正中央。要从一个较大的图像img中心截取一个128像素× 128像素的正方形区域，我们使用crop_centre（img, 128, 128）。在笔记本中，我们需要将该辅助
2022-05-01 20:36:03
1560
转载 修改MySql8.0的数据库默认存储位置
先停止Mysql服务net stop mysql# (注意mysql8.0的服务名称可能是mysql80，此处应该为net stop mysql80)然后在数据库安装目录中找到my.ini文件然后找到datadir属性，把原来的值修改为新的数据库存储目录。如原位置为：“datadir=C:/ProgramData/MySQL/MySQL Server 8.0\Data”新位置为：“datadir=D:/Program Files/MySQL\Data”复制原data目录中的所有文件到新的存储
2022-05-01 18:17:08
5943
原创 初识数据库
1.1 初识 SQL1.1.1 SQL的基本书写规则SQL语句要以分号（ ; ）结尾SQL 不区分关键字的大小写，但是插入到表中的数据是区分大小写的win 系统默认不区分表名及字段名的大小写linux / mac 默认严格区分表名及字段名的大小写本教程已统一调整表名及字段名的为小写，以方便初学者学习使用。常数的书写方式是固定的‘abc’, 1234, ‘26 Jan 2010’, ‘10/01/26’, ‘2010-01-26’…单词需要用半角空格或者换行来分隔SQL 语句的单词
2022-05-01 18:06:37
76
原创 第3章 卷积GAN和条件式GAN：3.1 卷积GAN1
在本章中，我们对GAN的核心概念加以扩展，并应用卷积神经网络。我们也将创建一个条件式GAN，用于生成指定类型的数据。
2022-04-29 22:46:11
2660
1
原创 python连接mysql数据库获取数据并转化为dataframe
import pymysqlimport warningsimport pandas as pdwarnings.filterwarnings('ignore')def connect_database(database, password): db = pymysql.connect(host ="XXX",user ="root", password = password, database = database) return dbdef read_data(db
2022-04-29 11:14:44
3106
1
原创 调用API获取深圳市的公开大数据集——以高速公路ETC入深圳数据为例
https://opendata.sz.gov.cn/data/api/toApiDetails/29200_00403621从上图可知，深圳市政府开放数据平台为每一个数据集提供了一个接口地址，并且只需要输入三个参数即可调用数据：appKey、page和rows。首先我们先“提交应用名称”和订阅接口以获取一个appKey，其实就是获取一个专属秘钥。其次，我们进入“测试接口”网页，见下图：根据上图可知，在完成之前的步骤后，只需要确定“请求方式”和“API参数”后，我们点击蓝色的“发送请求”即可返回相应的内
2022-04-28 21:49:24
4594
6
转载 2020版中国开放数据(Open Data)及政府数据开放平台汇总
2020版中国开放数据(Open Data)及政府数据开放平台汇总链接北京市北京市政务数据资源网http://www.bjdata.gov.cn/jkfb/index.htm56家单位、1147类数据集、7653万余条数据记录上海市上海市政府数据服务网http://www.data.sh.gov.cn/home!toHomePage.action开放数据项总量32312条 开放数据资源1958个 开放数据部门45个天津市天津市信息资源统一开放平台https://data.tj.gov
2022-04-27 21:18:09
6068
原创 Keras-CPU及Pytorch-GPU安装
Pytorch-GPU安装conda create -n torchenvGPU python=3.8conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorchconda install ipykernelpython -m ipykernel install --user --name torchenvGPU --display-name “Python [conda env: torchenvGPU]”测试
2022-04-27 16:19:47
1072
原创 在Jupyter notebook中加入虚拟环境kernal
1. 创建虚拟环境 py36conda activate py362. 打开Anaconda Prompt，激活py36虚拟环境conda activate py363. 在虚拟环境py36中安装ipykernelconda install ipykernel4. 在命令行输入python -m ipykernel install --user --name py36 --display-name "Python [conda env:py36]"其中，py36为我创建的虚拟环境，你
2022-04-27 10:40:41
1689
原创 第2章 GAN初步：2.4 生成人脸图像
2.4 生成人脸图像在本节中，我们将尝试训练GAN，使它可以生成人脸图像。与生成单色的手写数字图像相比，我们将面临以下两个全新的挑战。使用彩色图像作为训练数据，并学习生成全彩色图像。训练数据集中的图像更加多样化，也包含更多容易使人分心的 细节。2.4.1 彩色图像在数字图像中，有多种表示颜色的方法。最普遍的一种方法是将色彩描述为红、绿和蓝三种光的混合。我们在图像编辑器中选取颜色时，应该经常用到这种色彩表示方法。所有的数码显示器，比如笔记本电脑或智能手机屏幕，几乎都是由红色、绿色、蓝色的微小像素
2022-04-26 16:27:44
3954
1
原创 第2章 GAN初步：2.3 生成手写数字2
2.3.7 模式崩溃我们刚刚看到的现象，在GAN训练中非常常见，我们称它为模式崩溃（mode collapse）。或者，模式崩塌、模式坍塌。在MNIST的案例中，我们希望生成器能够创建代表所有10个数字的图像。当模式崩溃发生时，生成器只能生成10个数字中的一个或部分数字，无法达到我们的要求。发生模式崩溃的原因尚未被完全理解。许多相关的研究正在进行中，我们选取其中一些相对比较成熟的理论进行讨论。其中一种解释是，在鉴别器学会向生成器提供良好的反馈之前，生成器率先发现一个一直被判定为真实图像的输出。为此，
2022-04-25 17:46:14
1725
1
原创 第2章 GAN初步：2.3 生成手写数字1
在2.2节中，我们进行了大量的工作来编写GAN的框架，并熟悉了它的使用。这意味着，当我们从生成简单的1010格式规律过渡到生成看起来像手写数字的图像时，所需的工作量相对减少了。我们还是从一个架构图开始吧。如图所示，总体的架构仍然保持不变。真实图像由我们在第1章中使用过的MNIST数据集提供。生成器的任务是生成相同大小的图像。随着训练的进展，我们希望生成的图像越来越真实，并可以骗过鉴别器。在构建代码时，我们将复制之前构建MNIST分类器以及用于生成1010格式规律GAN的代码。2.3.1 数据类我们
2022-04-25 11:14:43
2889
原创 第2章 GAN初步：2.2 生成1010格式规律
2.2 生成1010格式规律现在，我们来构建一个GAN，用生成器学习创建符合1010格式规律的值。这个任务比生成图像要简单。通过这个任务，我们可以了解GAN的基本代码框架，并实践如何观察训练进程。完成这个简单的任务有助于我们为接下来生成图像的任务做好准备。跟之前一样，我们先用纸和笔把希望实现的架构画下来。我们看到的正是GAN的整体架构。真实的数据集被替换成了一个函数，会一直生成1010格式规律的数据。对于这样一个简单的数据源，我们不需要使用PyTorch的torch.utils.data.Datas
2022-04-25 09:31:17
1796
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人