<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_41566530的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_41566530</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_41566530]]></copyright><item><title><![CDATA[【PyTorch】09深度体验之图像分类]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124901787</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124901787</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 18:57:03 +0800</pubDate><description><![CDATA[9 PyTorch深度体验
图像分类(Image Classification)

【PyTorch】8.1 图像分类

9.1 模型如何完成图像分类？



图像分类的推理步骤：

9.2 ResNet18模型实例

【图像分类】ResNet网络结构

程序：
import os
import time
import torch.nn as nn
import torch
import torchvision.transforms as transforms
from PIL import Image
f]]></description><category></category></item><item><title><![CDATA[【PyTorch】08训练技巧]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124901691</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124901691</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 18:42:44 +0800</pubDate><description><![CDATA[8 PyTorch训练技巧
8.1 模型保存与加载

模型保存与加载，就是序列化与反序列化，将模型持久化保存
【PyTorch】7.1 模型保存与加载




torch.save()
功能：模型保存，即序列化
参数说明：

obj：对象
f：输出路径



torch.load()
功能：模型加载，即反序列化
参数说明：

f：文件路径
map_location：指定存放位置，cpu or gpu



模型保存的两种方法：
官方推荐方法2：方法2比方法1速度快，但方法2只保存了模型参数，加载时需将参数加]]></description><category></category></item><item><title><![CDATA[【PyTorch】07正则化]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124901617</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124901617</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 18:32:09 +0800</pubDate><description><![CDATA[7 PyTorch的正则化
7.1 正则化之weight_decay

Regularization：减小方差的策略，从而解决过拟合问题，常见的方法有：L1正则化和L2正则化
weight decay（权值衰减）= L2 Regularization
在PyTorch的优化器中提供了 weight decay（权值衰减）的实现
【PyTorch】6.1 正则化之weight_decay

误差可分解为：偏差、方差与噪声之和，即误差=偏差+方差+噪声

偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻]]></description><category></category></item><item><title><![CDATA[【PyTorch】06训练过程]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124901497</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124901497</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 18:23:03 +0800</pubDate><description><![CDATA[6 PyTorch训练过程
6.1 学习率调整

学习率(learning rate)：控制更新的步伐，注意：学习率不宜设置过大，也不宜设置过小
lr初始化：

设置较小数：0.01、0.001、0.0001
搜索最大学习率：《Cyclical Learning Rates for Training Neural Networks》

lr调整策略：学习率前期需设置大，后期需设置小
PyTorch 中常用的 lr_scheduler [学习率调整策略] 
PyTorch API：Doc —&gt; torc]]></description><category></category></item><item><title><![CDATA[【PyTorch】05损失优化]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124901400</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124901400</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 18:12:41 +0800</pubDate><description><![CDATA[5 PyTorch损失优化
5.1 权值初始化

【PyTorch】4.1 权值初始化



梯度消失与梯度爆炸

消失原因：深层网络、不合适的损失函数
爆炸原因：权值初始化太大
解决方法：梯度剪切、权值正则化、激活函数改进、使用BN(Batch Normalization)、ResNet等




Xavier初始化

方差一致性：保持网络层的输出数据尺度维持在恰当范围，通常方差为1
激活函数：饱和函数，如Sigmoid、Tanh



Kaiming初始化

方差一致性：保持网络层的输出数据尺度维持在恰]]></description><category></category></item><item><title><![CDATA[【PyTorch】04模型搭建]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124901217</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124901217</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 18:04:00 +0800</pubDate><description><![CDATA[4 PyTorch模型搭建
4.1 网络模型创建

【PyTorch】3.1 模型创建
图像分类的经典网络模型：【可以查看使用torchvision.models里面实现的AlexNet、VGG、GoogleNet、ResNet、DenseNet等】
alexnet=torchvision.models.AlexNet()
densenet=torchvision.models.DenseNet()



方法1：初始化（构建子模块）
方法2：前向传播（拼接子模块）


4.2 nn.Module

所有网]]></description><category></category></item><item><title><![CDATA[【PyTorch】03数据处理]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124900900</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124900900</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 17:46:31 +0800</pubDate><description><![CDATA[3 PyTorch数据处理

3.1 数据读取机制DataLoader与Dataset

【PyTorch】2.1 DataLoader与Dataset

epoch：对训练集的全部数据进行一次完整的训练，即所有训练样本都已经输入到模型中，称为一次epoch
batch：由于硬件算力有限，实际训练时将训练集分成多个批次训练
batch_size：每批数据尺寸(大小)，决定一个epoch有多少个iteration或step
iteration或step：对一个batch的数据训练的过程称为一个iteratio]]></description><category></category></item><item><title><![CDATA[【PyTorch】02基础知识---张量与autograd]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124899919</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124899919</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 17:20:32 +0800</pubDate><description><![CDATA[2 PyTorch基础知识

官方文档：https://pytorch.org/docs/

2.1 安装与配置

人工智能工具库(Anaconda/Pytorch/PyCharm等)安装环境配置视频教程
深度学习环境搭建（从卸载CUDA到安装，以及Pytorch与torchvision的安装）
【PyTorch】1.1 PyTorch简介和安装

重新创建并切换使用虚拟环境的步骤：

退出当前虚拟环境：conda deactivate
创建虚拟环境：conda create -n pytorch_1.7 ]]></description><category></category></item><item><title><![CDATA[【PyTorch】01深入浅出PyTorch]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124899724</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124899724</guid><author>qq_41566530</author><pubDate>Sat, 21 May 2022 16:26:23 +0800</pubDate><description><![CDATA[1 深入浅出PyTorch

PyTorch定位：深度学习框架，实现深度学习模型算法

PyTorch实现模型训练：


数据

如何把数据从硬盘读到内存？
如何划分数据进行训练？
图片如何预处理及数据增强？


模型

如何构建模型模块？
如何组织复杂网络？
如何初始化网络参数？
如何定义网络层？


损失函数

如何创建损失函数？
如何设置损失函数超参数？
如何选择损失函数？


优化器

如何管理模型参数？
如何管理多个参数组实现不同学习率？
如何调整学习率？


迭代训练

如何观察训练效果？
如何]]></description><category></category></item><item><title><![CDATA[【机器学习08】层次聚类]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124762021</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124762021</guid><author>qq_41566530</author><pubDate>Fri, 13 May 2022 23:41:57 +0800</pubDate><description><![CDATA[9 层次聚类
9.1 简介
层次聚类分为两种类型：

聚合(agglomerative)或自下而上(bottom-up)聚类
分裂(divisive)或自上而下(top-down)聚类

凝聚层次聚类(AGNES)：属于聚合或自下而上聚类
步骤：

构造mmm个类，每个类包含一个样本，即有多少个样本就有多少个类
计算类与类之间的距离dijd_{ij}dij​，记作矩阵D=[dij]m∗mD=[d_{ij}]_{m*m}D=[dij​]m∗m​
合并间距最小的两个类
若达到聚类数KKK则退出
重新计算类之间的]]></description><category></category></item><item><title><![CDATA[【机器学习07】K-Means聚类（聚类篇）]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124657130</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124657130</guid><author>qq_41566530</author><pubDate>Sun, 08 May 2022 23:37:29 +0800</pubDate><description><![CDATA[8 K-Means聚类（聚类篇）
8.1 简介
聚类(Clustering)：是一种无监督学习算法，即将无分类的数据分为K类

K-Means(K-均值)聚类：选取K个初始聚类中心(质心)

步骤：
repeat：

对每个样本点，计算得到距其最近的质心，将其类别标为该质心所对应的cluster
重新计算K个cluster对应的质心

until：质心不再发生变化
8.2 距离计算公式
（1）Minkowski（闵可夫斯基距离，若p=2，则成为欧式距离）
​                d(x,y)=(∑]]></description><category></category></item><item><title><![CDATA[【机器学习06】多项式回归]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124641708</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124641708</guid><author>qq_41566530</author><pubDate>Sat, 07 May 2022 23:47:34 +0800</pubDate><description><![CDATA[7 多项式回归
若希望回归模型更好的拟合训练样本数据，可以使用多项式回归器
一元多项式回归
hθ(x)=θo+θ1x+θ2x2+θ3x3+…+θnxn
将高次项看做对一次项特征(自变量)的扩展得到：
hθ(x)=θo+θ1x1+θ2x2+θ3x3+…+θnxn
那么一元多项式回归即可以看做为多元线性回归，可以使用LinearRegression模型对样本数据进行模型训练
所以一元多项式回归的实现需要两个步骤：

将一元多项式回归问题转换为多元线性回归问题(只需给出多项式最高次数即可)
将步骤1得到多项式的结]]></description><category></category></item><item><title><![CDATA[【机器学习05】LASSO回归与ElasticNet(弹性网)]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124620949</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124620949</guid><author>qq_41566530</author><pubDate>Fri, 06 May 2022 23:03:18 +0800</pubDate><description><![CDATA[5 LASSO回归
5.1 简介
LASSO回归:在模型迭代过程所依据的代价函数中增加了正则惩罚项（L1范数正则化），以限制模型参数对异常样本的匹配程度，进而提高模型面对多数正常样本的拟合精度，解决过拟合问题
代价函数：
J(θ)=12m∑i=1m(hθ(x(i))−y(i))2+λ∥θ∥1=12m∑i=1m(hθ(x(i))−y(i))2+λ∑j=1n∣θj∣J(\theta)=\frac{1}{2m}\sum\limits_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\la]]></description><category></category></item><item><title><![CDATA[【深度学习02】PyTorch之LeNet]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124599838</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124599838</guid><author>qq_41566530</author><pubDate>Thu, 05 May 2022 23:04:11 +0800</pubDate><description><![CDATA[LeNet

CNN(Convolutional Neural Network)雏形：LeCun的LeNet(1998年)网络结构

PyTorch tensor的通道排序：[batch_size, channel, height, width]
官方Demo：Training a Classifier — PyTorch Tutorials 1.11.0+cu102 documentation
3.1  网络结构

说明：
卷积运算后的特征图输出尺寸计算公式：

其中，WWW为输入图像的尺寸(W)，FFF]]></description><category></category></item><item><title><![CDATA[【机器学习04】岭回归]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124599783</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124599783</guid><author>qq_41566530</author><pubDate>Thu, 05 May 2022 22:59:29 +0800</pubDate><description><![CDATA[4 岭回归
4.1 简介
普通线性回归模型使用基于梯度下降的最小二乘法，在最小化损失函数的前提下，寻找最优模型参数，在此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程度相等的影响，异常值对模型所带来影响无法在训练过程中被识别出来
岭回归:在模型迭代过程所依据的代价函数中增加了正则惩罚项（L2范数正则化），以限制模型参数对异常样本的匹配程度，进而提高模型面对多数正常样本的拟合精度，解决过拟合问题
正则化：

目的：防止过拟合
本质：约束（限制）要优化的模型参数

代价函数：
J(θ)=12]]></description><category></category></item><item><title><![CDATA[第10章 因子分析(FA)]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/121666521</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/121666521</guid><author>qq_41566530</author><pubDate>Wed, 04 May 2022 22:50:56 +0800</pubDate><description><![CDATA[1 简介2 基本思想3 数学模型3.1 公共因子及载荷矩阵3.2 因子旋转(正交变换)3.3 因子得分4 步骤
因子分析(FA)
1 简介

原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子
因子分析是主成分分析的推广，它也是多元统计分析中常用的一种降维方式
因子分析---&gt;数据降维

2 基本思想

根据相关性大小把原始变量分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组变量代表一个基本结构，并用一个不可测的综合变量表示，这个基]]></description><category></category></item><item><title><![CDATA[【深度学习01】最优化算法]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124579292</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124579292</guid><author>qq_41566530</author><pubDate>Wed, 04 May 2022 22:40:48 +0800</pubDate><description><![CDATA[1 梯度下降方向

若使用整个样本集进行求解，损失梯度会指向全局最优方向


2. 若使用分批次样本进行求解，损失梯度会指向当前批次最优方向
如ImageNet大型图像数据集，在实际应用中往往不可能一次性将所有数据载入内存（算力也不够），所以只能分批次（batch）训练

2 优化器

目的：为了使网络更快的收敛
优化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）
优化器(Optimizer)
许多优化算法的设计从梯度方向和学习率两个方面入手

梯度方向入手：]]></description><category></category></item><item><title><![CDATA[【机器学习03】线性回归（回归篇）]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124563312</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124563312</guid><author>qq_41566530</author><pubDate>Tue, 03 May 2022 22:42:00 +0800</pubDate><description><![CDATA[3 线性回归（回归篇）
3.1 形式化定义


假设函数（hypotheses function）
hθ(x)=θ0+θ1x1+θ2x2+...+θnxn=∑i=0nθixi=θTxh_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n=\sum\limits_{i = 0}^n{{\theta_i}{x_i}}={\theta^T}xhθ​(x)=θ0​+θ1​x1​+θ2​x2​+...+θn​xn​=i=0∑n​θi​xi​=θTx
其]]></description><category></category></item><item><title><![CDATA[【机器学习02】数据预处理]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124563174</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124563174</guid><author>qq_41566530</author><pubDate>Tue, 03 May 2022 22:37:59 +0800</pubDate><description><![CDATA[2 数据预处理
数据预处理的过程：输入数据——&gt;模型——&gt;输出数据
数据样本矩阵【一行一样本，一列一特征】




年龄
学历
经验
性别
月薪




25
硕士
2
女
10000


20
本科
3
男
8000


…
…
…
…
…


数据预处理相关库：
# 解决机器学习问题的科学计算工具包---数据预处理库
import sklearn.preprocessing as sp

【机器学习基础】Python数据预处理：彻底理解标准化和归一化
2.1 均值移除(标准化)
由于一个样本]]></description><category></category></item><item><title><![CDATA[【机器学习01】概述]]></title><link>https://blog.youkuaiyun.com/qq_41566530/article/details/124563070</link><guid>https://blog.youkuaiyun.com/qq_41566530/article/details/124563070</guid><author>qq_41566530</author><pubDate>Tue, 03 May 2022 22:30:16 +0800</pubDate><description><![CDATA[1 机器学习概述
1.1 什么是机器学习
机器学习是一门能够让编程计算机从数据中学习的计算机科学
一个计算机程序在完成任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以                            衡量的P，随着E的增加而增加，那么这样计算机程序就被称为机器学习系统
自我完善、自我增进、自我适应
1.2 为什么需要机器学习

自动化的升级和维护
解决那些算法过于复杂甚至根本就没有已知算法的问题
在机器学习的过程中协助人类获得对事物的洞见

1.3 机器学习的问]]></description><category></category></item></channel></rss>